Python爬虫5.12 — scrapy框架scrapy-redis[分布式爬虫]模块的使用

综述

本系列文档用于对Python爬虫技术的学习进行简单的教程讲解，巩固自己技术知识的同时，万一一不小心又正好对你有用那就更好了。
Python 版本是3.7.4

前面的文章我们学习了scrapy框架开发爬虫的各种使用方法，下面我们来学习以下分布式爬虫的开发。

Scrapy-Redis分布式爬虫组件

Scrapy是一个框架，他本身示不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正式利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分利用资源(多个IP、更多带宽、同步爬取)来提高爬虫的爬行效率。

分布式爬虫的有点

1. 可以充分利用多台机器的贷款。
2. 可以充分利用多台及其的ip地址。
3. 多台机器同时爬取，爬取数据的效率更高。

分布式爬虫必须要解决的问题

1. 分布式爬虫示好几台机器同时运行，如何保证不同的机器爬取页面的时候不会出现重复爬取的问题。
2. 同样，分布式使爬虫再不同的机器上运行，在把数据爬取完后如何保证存在同一个地方。

安装Scrapy-Redis

    pip install scrapy-redis

运行上述命令即可安装。

Scrapy-Redis架构

Scrapy 架构图

Scrapy-Redis 架构图

开发分布式爬虫

开发

想要开发一个分布式爬虫，首先要开发好一个普通爬虫，然后更改一些代码即可。要将一个Scrapy项目爬虫变成一个Scrapy-Redis项目只需要修改以下三点：

1. 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider；或者是从scrapy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider。
2. 将爬虫中的start_urls删掉，增加一个redis_key=xxx。这个redis_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url，就是在redis中通过这个发送出去的。
3. 在配置文件中增加如下配置：

# Scrapy-Redis相关的配置
# 确保request存储到redis中
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 确保所有爬虫共享相关的去重指纹
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 设置redis为item pipeline
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300,
}

# 在redis中保持scrapy-redis用到的队列，不会清理redis中的队列，从而可以实现暂停和恢复的功能
SCHEDULER_PERSIST = True

# 设置连接redis信息
REDIS_HOST = "192.168.1.108"
REDIS_PORT = 6379

运行

运行爬虫需要执行下述步骤：

1. 在爬虫服务器上，进入到爬虫文件所在的路径，然后输入命令：scrapy runspider [爬虫名字]。
2. 在redis服务器上，推入一个开始的url连接：redis-cli > lpush [redis_key] start_url开始爬取。

结语

Python爬虫系列的博文到此篇算是全部结束了，欢迎大家指正，相互学习。

其他博文链接

• Python爬虫1.1 — urllib基础用法教程
• Python爬虫1.2 — urllib高级用法教程
• Python爬虫1.3 — requests基础用法教程
• Python爬虫1.4 — requests高级用法教程
• Python爬虫2.1 — BeautifulSoup用法教程
• Python爬虫2.2 — xpath用法教程
• Python爬虫3.1 — json用法教程
• Python爬虫3.2 — csv用法教程
• Python爬虫3.3 — txt用法教程
• Python爬虫4.1 — threading(多线程)用法教程
• Python爬虫4.2 — ajax(动态网页数据抓取)用法教程
• Python爬虫4.3 — selenium基础用法教程
• Python爬虫4.4 — selenium高级用法教程
• Python爬虫4.5 — tesseract(图片验证码识别)用法教程
• Python爬虫5.1 — scrapy框架简单入门
• Python爬虫5.2 — scrapy框架pipeline模块的使用
• Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用
• Python爬虫5.4 — scrapy框架items模块的使用
• Python爬虫5.5 — scrapy框架logging模块的使用
• Python爬虫5.6 — scrapy框架setting模块的使用
• Python爬虫5.7 — scrapy框架Shell命令的使用
• Python爬虫5.8 — scrapy框架CrawlSpider模块的使用
• Python爬虫5.9 — scrapy框架下载文件和图片
• Python爬虫5.10 — scrapy框架Download Middlewares[下载器中间件]的使用
• Python爬虫5.11 — scrapy框架结合selenium+chromedriver的使用