Python爬虫-Proxy_Pool处理IP被封问题

Proxy_Pool下载地址:https://github.com/jhao104/proxy_pool

1.下载Proxy_Pool解压

2.解压后如下图

3.打开requirements.txt,打开命令行工具,pip install  库名  安装,通过命令 pip list可以查看已经安装过的包

4.到Run文件夹下运行main.py文件,可能出现下图的报错

报错

解决方法:

1
2

5.启动过几分钟后就能看到抓取到的代理IP,你可以直接到数据库中查看,推荐一个SSDB可视化工具(https://github.com/jhao104/SSDBAdmin)。

也可以通过api访问http://127.0.0.1:5010 

你可能感兴趣的:(Python爬虫-Proxy_Pool处理IP被封问题)