scrapy与scrapy-redis的使用(二)-缓速爬行

B87E2B24F2CD3133B5F66C0A0C74DECB.png

基本操作外需要注意的一些点

介绍scrapy与scrapy-redis使用中遇到的一些问题和需要注意的点:安装、yield、调试、文件引用、中间件、ip代理、redis的常用操作。

  • 安装(如上图)错误
    将最新的3.7切换到3.6版本
  • yield
  • 调试Spiders
  • 文件引用
  • 中间件
  • ip代理
  • redis的常用操作

相关博客链接

  • python的import陷阱
  • 调试(Debugging)Spiders
  • Python关键字yield的解释
  • 迭代器

你可能感兴趣的:(scrapy与scrapy-redis的使用(二)-缓速爬行)