分布式爬虫笔记（二）- 多线程&多进程爬虫

这一次分析主要是针对上 分布式爬虫笔记（一）- 非框架实现的Crawlspider 的一次改进，从单机的爬虫改成多线程和多进程爬虫~~~

多线程和多进程的区别

参考文章 单线程、多线程和多进程的效率对比测试

1 多线程核心点说明

这一次对爬虫代码的修改其实主要是getQueneURL和start_crawl函数函数的处理。（建议比较难比较的小伙伴可以通过类似 git -diff 的方式来对文件进行分析）

1.1 getQueneURL函数

如果获取不到网页不做任何处理直接返回Null，这部分的处理交给theading处理那一块负责。

getQueneURKL

1.2 start_crawl函数

• if url is None 对空队列进行替换
• threads = [] 创建一个线程池来管理线程。
  • is_alive() 进程是否存活
  • remove() 删除进程
  • setDaemon() 可直接退出主进进程
  • start() 启动进程
• is_root_page 当爬取首页的时候，队列为空，单独处理
  核心点就是以上的这几个，在代码中有很详细的注释

start_crawl

完整的代码如下，可以通过 Github 下载

2 多进程核心点说明

有兴趣的小伙伴可以通过Git -diff 将多线程和多进程两份代码对比下

• 其实核心的方法就是将deque队列换成了mysql数据（process_dbmanager.py就是mysql抽象出来的一个数据库操作的文件，在多进程爬虫里面直接调用mysql的方法就可以了）
• 之前用于计算md5和url的方法都已经去掉了，mysql键值唯一的方法就可以实现去重
  完整的代码如下，可以通过 Github 下载
• 这里更正一下，多进程需要多开启几个py文件来执行，可以看第三步的结果

3 多线程 vs 多进程对比

多线程.jpg

多线程+多进程.jpg

以上都是我的个人观点，如果有不对，或者有更好的方法，欢迎留言指正~~~