python简单分布式任务调度_Elric:Python 实现的分布式任务调度系统

五月中的时候,我花了两周的业余时间,用python写了第一个github项目:Elric。Elric是一个简单的分布式任务调度系统。这里想分享下写这个项目的缘由,思路以及Elric架构演变。

这个项目的名字Elric,取自我非常喜欢的动漫:钢之炼金术师 里面主角的姓。强烈建议没看过的朋友一定要看看,这部动漫给我带来很大的影响。

背景

说起爬虫,相信很多人都会第一时间提起Scrapy。我第一次写爬虫的时候,也是用了Scrapy。但是Scrapy是单机部署,如果要抓取的网站比较大,只靠一台机器来抓取得花上比较长的时间。刚好之前工作上有个任务是要抓取一批网站,并且需要做到抓取效率快(例如每十五分钟抓取一次,更新记录)。于是我开始寻找分布式爬虫的方案。

Google一把,发现已经有人基于Redis实现了一个scrapy插件:scrapy-redis。研究了一把,发现它其实是一个伪分布式的scrapy插件。只是在抓取的起始url采用redis分发一下,后续的页面解析出来的url还是由单机的scrapy进行抓取。当时由于时间紧迫,我就直接在这个插件上进行修改,新增了接口把页面解析得到的url塞回redis,通过redis再分发给不同机器上的scrapy程序抓取,算是完成了任务。

思考

虽然完成了任务。但是这并不是完美的解决方案。修改接口带来的后果是,同一个url有两种抛出的形式,一种是塞回redis,一种是直接交给自己的scheduler调度,自己处理(scrapy的原始模式)。这里在代码里必须显示指定要采用那种方式处理url,写起来就会比较凌乱。并且现在抓取过的url就有了两个存储的地方,一个是我新增的,一个是scrapy本身实现的。管理起来也非常不便。于是我寻思着,要不自己造个轮子(刚好年初给自己定的kpi是写一个开源项目,一直苦于不知道写什么)?其实分布式爬虫的思想在上面已经提到了:把解析到的url放到一个公共的地方做去重逻辑,再统一分发给不同的worker就可以了。

架构

既然有了目标,那就开始动手。第一步把这个目标做分解,要实现一个分布式爬虫,本质上需要的是一个分布式任务调度器,Master-Worker架构。master负责分发任务给worker,worker负责处理和提交任务。

从上面的架构图可以看出,Elric有四个基本的模块:Master,Worker,Message Queue和RPC。Master的职责在于接受worker提交的任务,对任务做逻辑处理(去重等),并把任务push到Message Queue中。Worker则通过从Message Queue中pull任务回来处理,并把处理任务过程中产生的新任务(例如爬虫中解析一个页面产生的子链接)重新提交给Master。Messsage Queue主要负责存放序列化后的任务,而RPC主要用与Master和Worker之间的通信。

简单的架构搭起来后,接下来的问题是:Worker如何并行处理任务?为了效率最大化,肯定需要一个进程池/线程池负责处理任务,再另开一个进程/线程从Message Queue中拉取新任务。

这里我使用了Python的 concurrent.futures库提供的进程池用于执行Worker的任务。Worker每次从Message Queue中获取到新任务,就直接丢给进程池进行处理,避免任务执行时被阻塞。

好了,接下来,我们希望有些任务可以定时执行。例如我要每十五分钟取抓取某网站,我可不想写个crontab每隔十五分钟向Master提交任务。我希望能把任务的周期信息也记录在任务里。刚好之前做另外一个需求的时候接触了一个Python实现的定时任务的库Apscheduler,并且当初由于好奇,看过了一遍它的源码。因此打算参照它的代码,把这个能力集成到Elric中。

Apscheduler的原理很简单。文字描述起来比较麻烦,伪代码如下:while( True) {

next_run_time = getNextJobRunTime() //拿到所有任务下次执行的时间

min_wait_time = now()-max(next_run_time) //计算出等待的最短时间

wait(min_wait_time) //sleep一把,避免cpu空转

job = getJobFromJobStore(now()) //取出需要执行的任务

push_job_to_message_queue(job) //将任务塞入Message Queue中

搞定,这样Elric不仅能处理即时任务,也能处理周期任务。越来越强大了^ ^

最后,我们要为爬虫定制一个特性:去重。我们希望能够指定哪些url只需要抓取一次(不会更新的页面)。这样能大大节省我们机器的开销。去重其实非常简单,最简单的做法就是用一个集合保存需要去重的任务,Master在接收到Worker提交的任务后,首先判断这个任务是否需要去重,如果需要的话,判断该任务是否已经存在于集合中,如果已经存在,则直接丢弃。下图为最终的架构图:

Done! 一个非常简单的分布式任务调度器就完成了。

结束语

实现了Elric之后,我马上把之前的爬虫代码迁移到这上面,现在的接口清晰了很多,代码写起来也非常的清爽,感觉很Cool。在经过自己测试了没有问题之后,我开始鼓动同事也采用Elric来写爬虫,借此机会来发现代码中的不足和缺陷(例如其中有一个接口比较难理解,我打算在下次update 的时候改掉)。

总的来说,这是我第一次尝试自己写一个工具,收获非常大。如果你有什么建议或者困惑,欢迎发邮件给我。如果喜欢这个项目,欢迎给我一颗Star鼓励鼓励^ ^

后续阅读:

你可能感兴趣的:(python简单分布式任务调度)