爬虫中403问题

今天爬虫遇到一个情况,使用了代理,但程序有时状态403,导致有些数据获取不到!

最后我的解决办法:
有很多情况会出现这种情况,403代表服务器拒绝返回数据了,应该是频繁访问,导致可能限制ip,限制浏览器,限制账户这种情况出现,服务器就不返回数据了。

通过降低频率或者搞ip池,账号池类似这种规避服务器的反爬。

但由于需要爬取的数据量巨大,降低频率会牺牲效率,最终我采用IP池的方式解决,即遇到403后,不断更换IP,直到获取页面信息为止,实时证明,这个办法很好,最终解决了403反爬!

你可能感兴趣的:(学习总结)