2020-11-17如何scrapy-redis改装 大量起始请求

改装的重点有三个 1.setting配置文件 2.启动指令改变 3. 继承 RedisCrawlSpider 类

1.setting文件配置

# 使用的是scrapy_redis的去重类

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 调度器使用是scrapy_redis的调度器

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 爬取的过程中是否允许暂停

SCHEDULER_PERSIST = True

# 连接redis数据库 (REDIS_HOST 填写的是:(主机端)master端 的 地址 )

REDIS_HOST = '127.0.0.1'

REDIS_PORT = 6379

 在 管道配置中 添加一个scrapy_redis 管道  运行优先级 自己视情况设定

ITEM_PIPELINES = {

'scrapy_redis.pipelines.RedisPipeline': 400,

}

# 最大并发请求量(只有在无delay时 才能实现)

CONCURRENT_REQUESTS = 32

# 下载延迟(建议开启延迟,当多台设备同时分布式爬取的时候,很容易让所爬取网站的服务器蹦掉的)

# DOWNLOAD_DELAY = 1

2.启动指令改变

scrapy crawl xxxx  ==> scrapy runspider xxxx.py
运行位置也有所改变
scrapy.cfg同级文件夹下 ==》 xxxx.py同级文件夹下

3.继承 RedisCrawlSpider 类

首先引入一个scrapy.redis.spider 模块:

from scrapy_redis.spiders import RedisCrawlSpider

#分布式中没有了起始url 取而代之 的是:redis_key

class AgentSpider(RedisCrawlSpider):

            name = 'Agent'

            # allowed_domains = ['[fuwu.weimob.com.cn](http://fuwu.weimob.com.cn/)']

            # start_urls = ['[http://fuwu.weimob.com.cn/product_list.html/](http://fuwu.weimob.com.cn/product_list.html/)']

            redis_key = 'agent:start_urls'

如果没有成功 运行程序没有等待或者报错name就是继承错误
如果输入了lpush xxxx:start_urls http:\xxxxx 程序还是不运行就是xxxx:start_urls 设置和输入的不一致

-----------------------------------------------------------------------------------

下面是我自己项目中涉及到的延伸

如果起始有大量的url需要处理

比如有100万个查询想用分布式的方法去完成 这种起始url非常大量的情况
网上没有相关的解决方案 我的解决方法就是通过一个python脚本 将所有的url 通过lpush指令导入到起始url队列中去
主要用到的就是一个lpush指令(http://www.runoob.com/redis/lists-lpush.html)
后面有时间就给补上具体步骤
redis_key = 'agent:start_urls' 类似于 scrapy中的start_urls 只不过redis_key是redis中一个以agent:start_urls为名字的数据表 所以就相当于把之前start_urls中的数据 放到redis数据库中

好处是可以多程序执行一个列表 重启程序也不用在跑之前已经跑过的数据了