ROBOTSTXT_OBEY = False 粗解

  • 爬虫协议,即 robots 协议,也叫机器人协议
    它用来限定爬虫程序可以爬取的内容范围
    通常写在 robots.txt 文件中
  • 该文件保存在网站的服务器上
    爬虫程序访问网站时首先查看此文件
  • 在 scrapy 项目的 settings.py 文件中
    默认 ROBOTSTXT_OBEY = True ,即遵守此协议
    当爬取内容不符合该协议且仍要爬取时
    设置 ROBOTSTXT_OBEY = False ,不遵守此协议

你可能感兴趣的:(ROBOTSTXT_OBEY = False 粗解)