爬虫代理池实现

1,requests  设置ip代理

          proxies = {'http':'http://192.168.0.1:8000'}    

需要注意格式,http与https 不能混用

 


2,scrapy 设置ip代理

         middlerware  中设置代理中间键

 

你可能感兴趣的:(爬虫代理池实现)