Scrapy-redis setting 配置文件

DUPEFILTER_ CLASS=" scrap_redis. dupefilter: RFPDupeFilter'#指纹生成以及去重类
SCHEDULER=" scrap_redis. scheduler Scheduler#调度器类
SCHEDULER_ PERSIST=True#持久化请求队列和指纹集合
TEMP| PELINES={ scrap_redis, pipelines. RedisPipeline:400}#数据存入 redis的管道
REDIS_ URL ="redis //host: port"# redisAurl

你可能感兴趣的:(Python)