pyspider源码分析 解决指定节点问题

前言

刚换了公司，公司老板让我修改pyspider源码以实现功能（假设我们有5个服务器，一个部署在美国，4个部署在国内，但是pyspider 分发节点是根据redis的生产消费模式随机分发，我抓取国内的网页，他说不定会分发到美国的那个服务器，那么怎么指定就让他分发到国内的这4个服务器上哪 ？）

目录结构

• message_queue
• scheduler
• fetcher
• processor
• webui
• run.py

scheduler用于事件的分发
fetcher用于拉取数据，其中涉及到phantomjs的拉取。
processor用于页面解析数据提取工作(用我们自己写的脚本干活的)。
所以pyspider的核心组件是拉去网页的fetcher和处理网页的processor。

一. run.py(程序的入口)

这个py文件为程序的入口，包括读取配置文件、链接数据库、链接redis等操作.

链接数据库代码.png

这段代码为读取config.json文件中的数据库内容，其中可以使用mysql、mongodb、sqllite（太小了吧），这里面并不包括我大postgresql、oracle等数据库，所以你想使用其他的数据库，自己手动添加吧。

链接消息队列.png

这段代码也比较简单，他也是读取config.json 中的mssage_queue属性,我用的redis，其中红框标记的connect_message_queue为链接消息队列redis的方法，这个很重要，具体的在后面分析，但是有一个小问题，他是在一个for循环里面，所以链接的话是会链接五次，这是为什么那，我有点不知道。

二. message_queus

这个里面主要有几个消息对列的工具类，包括redis、rabbitmq等其余一些不知道什么玩意的消息队列。现在看一下我们刚才说的connect_message_queue方法这里可以看一下了。

链接redis.png

这个方法一进来还是一大堆判断，总之最后是走到Queue，这个方法是具体的消息队列对象，里面不用想就是包含了对数据队列的实例化以及具体操作了，像get、put方法，这里有一点要说明，这里redis的模式用的是生产消费模式（另一种是发布订阅模式，不同点自己去看）

三. fetcher

fetcher 是用来拉取数据的，我们显卡他的run方法.

fetcher拉取数据.png

函数run()是抓取程序fetcher中的一个大的循环程序。
函数run()中定义了另外一个函数queue_loop()，该函数接收输入队列中的所有任务，并抓取它们。同时该函数也监听中断信号。其中inqueue就是维持的redis队列，他调用get_nowait()方法从redis中拿取task。函数queue_loop()也会调用另一个能使我们更接近于实际检索Web资源操作的函数：fetch()。
函数fetch()只决定检索该资源的正确方法是什么。最后调用的是http_fetch，这个函数很长，但是也是办实事的，它包含处理header、cookie等问题。

四. processor

内容处理程序的目的是分析已经抓取回来的页面。

processor处理数据.png

它简单地从队列中得到需要被分析的下一个任务，并利用on_task(task, response)函数对其进行分析。

ontask()方法尝试利用输入的任务找到任务所属的项目。然后它运行项目中的定制脚本。最后它分析定制脚本返回的响应response。

五.scheduler

这个主要就是实现调度策略。具体的是六个方法，作者都有注释。

六.解决老板提出的问题

刚才说了老板提出的问题是指定节点完成任务。最开始的想法是利用redis指定分发，利用redis的的频道解决问题，但是后来因为种种原因感觉不太行，所以现在研究的办法是在fetcher的run方法中进行ip判断，判断非法ip，正常ip通过修改以达到指定具体节点的目的，虽然很low，但是可以解决问题。

来个结尾

让我再说最后一句，这是自己瞎总结的，如果有问题，万分希望指出，另外如果你是美女，欢迎加我qq来问问题。qq：810043299 :） 别忘了点赞啊