Python爬虫随机切换请求头

      大家都知道写爬虫的时候,在进行 request 请求的时候,多数情况下需要添加请求头,修改 User-Agent 来伪装浏览器,否则不会返回想要的数据

       今天在爬取某个正版小说网站时,requests请求一直返回403...<这网站贼恶心,反爬太多> 在反复检查过Host 、referer、cookie、验证码、IP等机制后发现没啥问题啊...

       会不会是UA的问题??? 不应该吧???我可是建立了UA池的,每次都随机携带的...

解决方案:

            调用一个库 fake-useragent

            安装:pip3 install fake_useragent

            引用:from fake_useragent import UserAgent

headers = {"User-Agent": UserAgent().chrome}

 

原来人家把我UA池的请求头给办了,结果就这样解决了......

 

你可能感兴趣的:(基础)