Python爬虫入门教程 76-100 用Celery继续搞定分布式爬虫

写在前面

对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。

今天继续通过celery实现分布式爬虫爬取https://book.douban.com/tag/?view=type&icn=index-sorttags-all

简单回忆下上篇博客涉及celery相关的知识点，celery官方定义为分布式任务队列，核心就是通过队列来实现跨线程或者跨终端进行作业分发。

队列的输入是一个作业单元，被称为task，我们只需要在定义好的函数上方，增加@app.task 装饰一下即可，查阅手册可以查看其它参数内容。

定义好task之后，执行worker 监控这个队列，有新作业即执行。

Python代码走起

接下来就是正式编码部分了，我们先补充一些基本知识

celery task 任务调用有三个API：

1. 直接给任务发送消息 app_async(args[,kwargs[,....]])
2. 给任务发送消息的简化写法，即1的简化写法