scrapy爬虫-代理设置

scrapy爬虫-代理设置

1.请求头User-Agent代理设置**

1.1 找到middlewares.py

1.2 找到一个绑定的DownloaderMiddlewar（生成scrapy爬虫目录的时候会默认生成一个Middlewar）
找到 process_request 方法，没有的话就自己添加一个

1.3 添加请求头代理，下面的代理就是添加请求头
usert_agent = “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36”
request.headers[“User-Agent”] = usert_agent

#===================以上是usert_agent 请求头代理设置完成

2.设置ip代理请求头

2.1 在上面的 process_request 方法里面添加
request.meta[‘proxy’] = “http://xx.xx.xx.xx:3128”
xx.xx.xx.xx是ip ，aaa 是代理服务器的端口，
哪里有代理ip呢，你可以去 西刺代理（https://www.xicidaili.com/nn/ ）网站去找，这个是免费的的，不稳定，存活时间 比较短，如果你想要稳定的代理，那就需要你自己花钱去买

这是我的微信，有不懂 的可以加我微信