Scrapy爬虫小技巧02:HTTP status code is not handled or not allowed的解决方法

在scrapy爬虫的过程中出现 HTTP status code is not handled or not allowed 的问题导致爬虫无法继续,如下截图:
Scrapy爬虫小技巧02:HTTP status code is not handled or not allowed的解决方法_第1张图片
解决方式:

  • 在settings.py文件中添加:

HTTPERROR_ALLOWED_CODES = [302]

  • 截图中报错302,就在括号里添加302。若报错403就添加403。

附加说明:

  • scrapy框架中有许多默认设置
  • 可参阅:scrapy的settings设置(一)

相关笔记:

  1. Python相关实用技巧01:安装Python库超实用方法,轻松告别失败!
  2. Python相关实用技巧02:Python2和Python3的区别
  3. Python相关实用技巧03:14个对数据科学最有用的Python库
  4. Python相关实用技巧04:网络爬虫之Scrapy框架及案例分析
  5. Python相关实用技巧05:yield关键字的使用
  6. Scrapy爬虫小技巧01:轻松获取cookies
  7. Scrapy爬虫小技巧02:HTTP status code is not handled or not allowed的解决方法
  8. 数据分析学习总结笔记01:情感分析
  9. 数据分析学习总结笔记02:聚类分析及其R语言实现
  10. 数据分析学习总结笔记03:数据降维经典方法
  11. 数据分析学习总结笔记04:异常值处理
  12. 数据分析学习总结笔记05:缺失值分析及处理
  13. 数据分析学习总结笔记06:T检验的原理和步骤
  14. 数据分析学习总结笔记07:方差分析
  15. 数据分析学习总结笔记07:回归分析概述
  16. 数据分析学习总结笔记08:数据分类典型方法及其R语言实现
  17. 数据分析学习总结笔记09:文本分析
  18. 数据分析学习总结笔记10:网络分析

你可能感兴趣的:(Scrapy爬虫小技巧02:HTTP status code is not handled or not allowed的解决方法)