Scrapy-redis分析

scrapy-redis会常见两个key

  1. youku:requests(zset)存储将要下载的链接(url/header/body的sha1)
  2. youku:dupefilter(set)存储已经下载的链接(url/header/body的sha1)

你可能感兴趣的:(Scrapy-redis分析)