python 爬虫requests免费代理池项目【ProxyPool】，以及ip失效自动替换的方法。
github地址
https://github.com/Python3WebSpider/ProxyPool
直接下载后解压
安装项目里面所有的第三方库： cd进入文件夹 - pip3 install -r requirements.txt 运行代码
下载redis
https://github.com/tporadowski/redis/releases
下载解压，先运行redis - server.exe ,再运行redis- cli.exe
运行第一个文件夹里面的 run.py
http://localhost:5555/random 访问这个网址，出现ip地址就成功了
在python里面调用
def get_random_proxy():
proxypool_url = 'http://127.0.0.1:5555/random'
"""
get random proxy from proxypool
:return: proxy
"""
return requests.get(proxypool_url).text.strip()#输出的是字符串
requests使用ip池
proxy = {'http':'http://'+get_random_proxy()}
res = requests.get(url=url, headers=headers,proxies = proxy,timeout =5)
当ip不可用时，重新请求一个ip
用try方法：
try:
res = requests.get(url=url, headers=headers,proxies = proxy,timeout =5)
if res.status_code == 200:
pass
except requests.exceptions.Timeout:
global NETWORK_STATUS
NETWORK_STATUS = False # 请求超时改变状态
if NETWORK_STATUS == False:
'''请求超时'''
for i in range(1, 10):
print('请求超时，第%s次重复请求' % i)
proxy = {'http': 'http://' + get_random_proxy()}
res = requests.get(url, headers=headers,proxies = proxy, timeout=5)
if res.status_code == 200:
break
用while True 方法实现
while True:
res = requests.get(url=url, headers=headers, proxies=proxy, timeout=5)
if res.status_code == 200:
break
else:
print('IP失效，正在更换IP。。。。')
proxy = {'http': 'http://' + get_random_proxy()}
上一篇文章查询类目使用代理池的效果
已经可以把每个关键词查询时间缩短至3-4秒，并且不会出现弹出验证码，这是个人的一大步，却是人类的一小步。
一共有49个关键词需要查询。
开始查询car accessory的类目！---------1/49
开始查询car charger的类目！---------2/49
开始查询car phone holder的类目！---------3/49
开始查询car parts的类目！---------4/49
开始查询usb car charger的类目！---------5/49
开始查询wireless car charger的类目！---------6/49
开始查询car air freshener的类目！---------7/49
****************************************
正确的类目是【Mobile Phone Holders】
第3个关键词car phone holder保存成功!
查询花费时间23.16秒
****************************************
开始查询dual usb car charger的类目！---------8/49
开始查询car wireless charger的类目！---------9/49
开始查询car的类目！---------10/49
****************************************
正确的类目是【Charger】
第6个关键词wireless car charger保存成功!
查询花费时间20.30秒
****************************************
开始查询car seat cushion的类目！---------11/49
开始查询electric car的类目！---------12/49
开始查询electrical car的类目！---------13/49
****************************************
正确的类目是【Cushion】
第11个关键词car seat cushion保存成功!
查询花费时间9.69秒
****************************************
开始查询car seat cover的类目！---------14/49
开始查询car battery charger的类目！---------15/49
开始查询car sticker的类目！---------16/49
****************************************
正确的类目是【[]】
第10个关键词car保存成功!
查询花费时间24.24秒
****************************************
开始查询car spare parts的类目！---------17/49
****************************************
正确的类目是【[]】
第12个关键词electric car保存成功!
查询花费时间21.61秒
****************************************
开始查询car air purifier的类目！---------18/49
开始查询toys car的类目！---------19/49
****************************************
正确的类目是【Car Stickers】
第16个关键词car sticker保存成功!
查询花费时间11.92秒
****************************************
开始查询toy car的类目！---------20/49
开始查询car mobile phone holder的类目！---------21/49
开始查询car keychains的类目！---------22/49
****************************************
正确的类目是【Air Purifiers】
第18个关键词car air purifier保存成功!
查询花费时间25.31秒
****************************************
开始查询car holder的类目！---------23/49
****************************************
正确的类目是【Mobile Phone Holders】
第21个关键词car mobile phone holder保存成功!
查询花费时间15.88秒
****************************************
开始查询car usb charger的类目！---------24/49
****************************************
正确的类目是【Radio Control Toys】
第19个关键词toys car保存成功!
查询花费时间23.01秒
****************************************
开始查询car vacuum cleaner的类目！---------25/49
开始查询magnetic car phone holder的类目！---------26/49
开始查询car toy的类目！---------27/49
IP失效，正在更换IP。。。。
更换后的IP是http://45.76.176.68:8080
****************************************
正确的类目是【Mobile Phone Holders】
第23个关键词car holder保存成功!
查询花费时间13.29秒
****************************************
开始查询car cover的类目！---------28/49
开始查询auto spare parts car的类目！---------29/49
****************************************
正确的类目是【Mobile Phone Holders】
第26个关键词magnetic car phone holder保存成功!
查询花费时间18.70秒
****************************************
开始查询car lighting的类目！---------30/49
****************************************
正确的类目是【Car Charger】
第24个关键词car usb charger保存成功!
查询花费时间28.78秒
****************************************
开始查询car light的类目！---------31/49
****************************************
正确的类目是【Radio Control Toys】
第27个关键词car toy保存成功!
查询花费时间21.06秒
****************************************
开始查询universal car charger的类目！---------32/49
开始查询car key chain的类目！---------33/49
****************************************
正确的类目是【Machining】
第29个关键词auto spare parts car保存成功!
查询花费时间20.43秒
****************************************
开始查询remote control car的类目！---------34/49
开始查询remote controlled car的类目！---------35/49
IP失效，正在更换IP。。。。
更换后的IP是http://45.76.157.40:8080
开始查询car humidifier的类目！---------36/49
开始查询car phone charger的类目！---------37/49
****************************************
正确的类目是【Auto Lighting System】
第31个关键词car light保存成功!
查询花费时间27.77秒
****************************************
开始查询car washer的类目！---------38/49
开始查询car repair tools的类目！---------39/49
开始查询car mat的类目！---------40/49
****************************************
正确的类目是【Radio Control Toys】
第35个关键词remote controlled car保存成功!
查询花费时间23.82秒
****************************************
开始查询car repair tool的类目！---------41/49
开始查询cnc machining car parts的类目！---------42/49
开始查询car led light的类目！---------43/49
开始查询car led lighting的类目！---------44/49
****************************************
正确的类目是【Car Mats】
第40个关键词car mat保存成功!
查询花费时间18.76秒
****************************************
开始查询led car light的类目！---------45/49
开始查询ride on car的类目！---------46/49
****************************************
正确的类目是【Machining】
第42个关键词cnc machining car parts保存成功!
查询花费时间19.80秒
****************************************
开始查询fast car charger的类目！---------47/49
****************************************
正确的类目是【Auto Lighting System】
第45个关键词led car light保存成功!
查询花费时间10.11秒
****************************************
开始查询car neck pillow的类目！---------48/49
开始查询qc3.0 car charger的类目！---------49/49
****************************************
正确的类目是【Auto Lighting System】
第44个关键词car led lighting保存成功!
查询花费时间22.62秒
****************************************
****************************************
正确的类目是【Charger】
第47个关键词fast car charger保存成功!
查询花费时间13.77秒
****************************************
****************************************
正确的类目是【Ride On Car】
第46个关键词ride on car保存成功!
查询花费时间19.35秒
****************************************
****************************************
正确的类目是【Charger】
第49个关键词qc3.0 car charger保存成功!
查询花费时间9.21秒
****************************************
总用时190.91秒，平均用时3.90秒
进程已结束，退出代码 0