celery在python爬虫中定时操作实例讲解

Galina ·

更新时间:2024-09-21

· 746 次阅读

使用定时功能对于我们想要快速获取某个数据来说，是一个非常好的方法。这样我们就不用苦苦守在电脑屏幕前，只为蹲到某个想要的东西。在之前我们已经讲过time函数进行定时操作，这算是time函数的比较基础的一个用法了。其实定时功能同样可以用celery实现，具体的方法我们往下看：

爬虫由于其特殊性，可能需要定时做增量抓取，也可能需要定时做模拟登陆，以防止cookie过期，而celery恰恰就实现了定时任务的功能。在上述基础上，我们将`tasks.py`文件改成如下内容


from celery import Celery
app = Celery('add_tasks', broker='redis:''//223.129.0.190:6379/2', backend='redis:''//223.129.0.190:6379/3')
app.conf.update(
  # 配置所在时区
  CELERY_TIMEZONE='Asia/Shanghai',
  CELERY_ENABLE_UTC=True,
  # 官网推荐消息序列化方式为json
  CELERY_ACCEPT_CONTENT=['json'],
  CELERY_TASK_SERIALIZER='json',
  CELERY_RESULT_SERIALIZER='json',
  # 配置定时任务
  CELERYBEAT_SCHEDULE={
    'my_task': {
      'task': 'tasks.add', # tasks.py模块下的add方法
      'schedule': 60,   # 每隔60运行一次
      'args': (23, 12),
    }
  }
)
@app.task
def add(x, y):
return x + y

然后先通过`ctrl+c`停掉前一个worker，因为我们代码改了，需要重启worker才会生效。我们再次以`celery -A tasks worker -l info`这个命令开启worker。

这个时候我们只是开启了worker，如果要让worker执行任务，那么还需要通过beat给它定时发送，我们再开一个命令行，切换到项目根目录，通过


celery beat -A tasks -l info
celery beat v3.1.25 (Cipater) is starting. 
__ - ... __ - _
Configuration ->
. broker -> redis://223.129.0.190:6379/2
. loader -> celery.loaders.app.AppLoader
. scheduler -> celery.beat.PersistentScheduler
. db -> celerybeat-schedule
. logfile -> [stderr]@%INFO
. maxinterval -> now (0s)
[2017-05-19 15:56:57,125: INFO/MainProcess] beat: Starting...

这样就表示定时任务已经开始运行了。

到此这篇关于celery在python爬虫中定时操作实例讲解的文章就介绍到这了,更多相关celery如何在python爬虫中进行定时操作内容请搜索软件开发网以前的文章或继续浏览下面的相关文章希望大家以后多多支持软件开发网！

您可能感兴趣的文章:Python实现的爬取百度文库功能示例用python下载百度文库的代码python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)python爬虫多次请求超时的几种重试方法(6种)python爬虫搭配起Bilibili唧唧的流程分析python爬虫中抓取指数的实例讲解用sleep间隔进行python反爬虫的实例讲解Python爬虫框架Scrapy安装使用步骤使用Python编写简单网络爬虫抓取视频下载资源零基础写python爬虫之使用Scrapy框架编写爬虫零基础写python爬虫之使用urllib2组件抓取网页内容python 爬取百度文库并下载(免费文章限定)

celery python爬虫 Python

1024 个赞