python爬虫之分布式爬虫和部署

分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。

在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。

要实现分布式爬虫，首先要配置服务器主从：

配置主从的目的：

1、达到一个备份的功能，一旦master出现崩溃，而数据库中还有数据的话

可以将其中的一个slave重新设置为主服务器，从而恢复Redis的正常运行

2、一个Redis服务器负责读写，性能较低，通过主从来减轻一个Redis的压力

scrapy 和scrapy-redis的关系
scrapy-redis 与 Scrapy的关系就像电脑与固态硬盘一样，是电脑中的一个插件，能让电脑更快的运行。

Scrapy 是一个爬虫框架，scrapy-redis 则是这个框架上可以选择的插件，它可以让爬虫跑的更快。

为什么使用 scrapy-redis
首先，在实际开发中，我们总会对爬虫速度表示不满，为啥这么慢，能不能跑快点。除了爬虫本身的优化，我们就要引入分布式爬虫的概念。Scrapy本身是不支持分布式的，因为它的任务管理和去重全部是在机器内存中实现的。

我自己对分布式爬虫的理解就是：多个爬虫执行同一个任务

在 Scrapy 中最出名的分布式插件就是scrapy-redis了，scrapy-redis的作用就是让你的爬虫快、更快、超级快。
！

分布式爬虫的实现
1.redis 服务
2.确保scrapy-redis 环境已经安装

3.确定单机scrapy 能够正常运行

4.配置setting.py 文件

setting.py 配置代码如下

# url指纹过滤器
'DUPEFILTER_CLASS' : "scrapy_redis.dupefilter.RFPDupeFilter",
# 调度器
'SCHEDULER' : "scrapy_redis.scheduler.Scheduler",
# 设置爬虫是否可以中断
'SCHEDULER_PERSIST' : True,
'SCHEDULER_QUEUE_CLASS' : "scrapy_redis.queue.SpiderQueue",  # 按照队列模式
# redis 连接配置
'REDIS_HOST' : '10.15.112.29',
'REDIS_PORT' :6379,
#密码和选择的库号
 'REDID_PARAMS' = {
     'password': '12324345',
     'db' : 0,
}
## 配置redis管道文件，权重数字相对最大
'ITEM_PIPELINES'  = {
    'scrapy_redis.pipelines.RedisPipeline': 3,  # redis管道文件，自动把数据加载到redis
}

SCHEDULER是任务分发与调度，把所有的爬虫开始的请求都放在redis里面，所有爬虫都去redis里面读取请求。 DUPEFILTER_CLASS是去重队列，负责所有请求的去重，REDIS_START_URLS_AS_SET指的是使用redis里面的set类型（简单完成去重），如果你没有设置，默认会选用list。

5 接下来就是设置你的爬虫文件了
在spider文件下找你写好的爬虫文件

然后导入

from scrapy_redis.spiders import RedisCrawlSpider

你的class类要继承RedisCrawlSpider

class BosszpSpider(RedisCrawlSpider):

然后设置属性
设置爬虫的rediskey（这个个自己取名，要和redis的键名一样）

redis_key = 'boss_url'

接下来连接redis

启动redis的命令是redis-server /etc/redis.cfon

l连接好redis后，添加一个列表

键名就是你爬虫属性里设置的名字

值就是你首次请求的url

配置完后就可以启动你的爬虫了

命令 scrapy runspider 爬虫文件名

scrapy-redis 优点
速度快

scrapy-redis 使用redis这个速度非常快的非关系型（NoSQL）内存键值数据库，速度快是最重要原因（但是也会产生负面想过，下面会说到）。

为什么是scrapy-redis而不是scrapy-mongo呢，大家可以仔细想想。

用法简单

前人已经造好轮子了，scrapy-redis。 我们直接拿来用就好，而用法也像上面提到的在 settings.py 文件中配置。在文档中还有另一种用法，即Feeding a Spider from Redis
run the spider: scrapy runspider myspider.py
push urls to redis: redis-cli lpush myspider:start_urls http://google.com（建议把lpush换为zset）

其实这种用法就是先打开一个爬虫，他会一直在redis里面寻找key为 myspider:start_urls，如果存在，就提取里面的url。当然你也可以在爬虫中指定redis_key，默认的是爬虫的名字加上:start_urls

去重简单
爬虫中去重是一件大事，使用了scrapy-redis后就很简单了。上面提到过使用redis的set类型就可以很容易达到这个目标了，即REDIS_START_URLS_AS_SET = True。

scrapy-redis 缺点
内存问题
为什么使用分布式爬虫，当然是因为会有很多链接需要跑，或者说会存放很多个myspider:start_urls到redis中，Redis是key-value数据库，面对key的内存搜索，优势明显，但是Redis吃的是纯内存

分布式爬虫的部署
1.下载scrapy_redis模块包
2.打开自己的爬虫项目，找到settings文件，配置scrapy项目使用的调度器及过滤器
3.修改自己的爬虫文件
4.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接
5.配置远程连接的MySQL及redis地址
6.上面的工作做完以后，开启我们的redis服务器
进入到redis文件下打开我们的cmd窗口：输入：redis-server redis.windows.conf
如果出现错误：# Creating Server TCP listening socket 127.0.0.1:6379: bind: No error
解决方法：在命令行中运行
redis-cli
127.0.0.1:6379>shutdown
not connected>exit
然后重新运行redis-server redis.windows.conf，启动成功！
7.修改redis.windows.conf配置文件，修改内容如下：

# 配置远程IP地址，供其他的电脑进行连接redis
bind: (当前电脑IP) （192.168.40.217）

# 关闭redis保护模式
protected-mode: no

8.所有爬虫都启动之后，部署redis-server服务的电脑再打开一个命令窗口，输入redis-cli.exe -h 127.0.0.1（如果是自己的ip改成自己的IP地址） -p 6379连上服务端

9.连上之后会有127.0.0.1:6379>这样的字样提示，然后输入如下命令

10.lpush 爬虫文件里面自己定义的爬虫名字:start_urls 爬虫的网址

12.数据写不进去数据库里面：
修改MySQL的my.ini文件，以MySQL8为例
路径在C:\ProgramData\MySQL\MySQL Server 8.0
找到sql-mode="STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION"这一行
把里面的STRICT_TRANS_TABLES,删除，逗号也删除，保存文件
修改过之后需要重启mysql服务
在windows命令窗口中使用net stop mysql80先停止服务，再使用net start mysql80启动服务
如果my.ini文件不修改，爬虫的数据写入不了数据库