2020-10-11

scrapy shell 获取settings设置关闭robot协议

在scrapy项目里只需要在settings里把ROBOTSTXT_OBEY设置为False就行了。
scrapy shell默认为setting默认设置。设置不遵守robot协议加上–setting(双破折号)覆盖和添加设置。
比如:scrapy shell “www.example.com” --setting=“ROBOTSTXT_OBEY=False”
接下来就可以愉快的用shell测试好再写入项目

你可能感兴趣的:(python,python)