python 爬虫requests免费代理池项目【ProxyPool】,以及ip失效自动替换的方法。

github地址

https://github.com/Python3WebSpider/ProxyPool
直接下载后解压
安装项目里面所有的第三方库: cd进入文件夹 - pip3 install -r requirements.txt 运行代码

下载redis

https://github.com/tporadowski/redis/releases
python 爬虫requests免费代理池项目【ProxyPool】,以及ip失效自动替换的方法。_第1张图片
下载解压,先运行redis - server.exe ,再运行redis- cli.exe

python 爬虫requests免费代理池项目【ProxyPool】,以及ip失效自动替换的方法。_第2张图片

运行第一个文件夹里面的 run.py

http://localhost:5555/random 访问这个网址,出现ip地址就成功了

在python里面调用

def get_random_proxy():
    proxypool_url = 'http://127.0.0.1:5555/random'
    """
    get random proxy from proxypool
    :return: proxy
    """
    return requests.get(proxypool_url).text.strip()#输出的是字符串

requests使用ip池

proxy = {'http':'http://'+get_random_proxy()}
res = requests.get(url=url, headers=headers,proxies = proxy,timeout =5)

当ip不可用时,重新请求一个ip

用try方法:

    try:
        res = requests.get(url=url, headers=headers,proxies = proxy,timeout =5)
        if res.status_code == 200:
            pass
    except requests.exceptions.Timeout:
        global NETWORK_STATUS
        NETWORK_STATUS = False  # 请求超时改变状态

        if NETWORK_STATUS == False:
            '''请求超时'''
            for i in range(1, 10):
                print('请求超时,第%s次重复请求' % i)
                proxy = {'http': 'http://' + get_random_proxy()}
                res = requests.get(url, headers=headers,proxies = proxy, timeout=5)
                if res.status_code == 200:
                    break

用while True 方法实现

        while True:
            res = requests.get(url=url, headers=headers, proxies=proxy, timeout=5)
            if res.status_code == 200:
                break
            else:
                print('IP失效,正在更换IP。。。。')
                proxy = {'http': 'http://' + get_random_proxy()}

上一篇文章查询类目使用代理池的效果

已经可以把每个关键词查询时间缩短至3-4秒,并且不会出现弹出验证码,这是个人的一大步,却是人类的一小步。

一共有49个关键词需要查询。
开始查询car accessory的类目!---------1/49
开始查询car charger的类目!---------2/49
开始查询car phone holder的类目!---------3/49
开始查询car parts的类目!---------4/49
开始查询usb car charger的类目!---------5/49
开始查询wireless car charger的类目!---------6/49
开始查询car air freshener的类目!---------7/49
****************************************
正确的类目是【Mobile Phone Holders】
第3个关键词car phone holder保存成功!
查询花费时间23.16****************************************
开始查询dual usb car charger的类目!---------8/49
开始查询car wireless charger的类目!---------9/49
开始查询car的类目!---------10/49
****************************************
正确的类目是【Charger】
第6个关键词wireless car charger保存成功!
查询花费时间20.30****************************************
开始查询car seat cushion的类目!---------11/49
开始查询electric car的类目!---------12/49
开始查询electrical car的类目!---------13/49
****************************************
正确的类目是【Cushion】
第11个关键词car seat cushion保存成功!
查询花费时间9.69****************************************
开始查询car seat cover的类目!---------14/49
开始查询car battery charger的类目!---------15/49
开始查询car sticker的类目!---------16/49
****************************************
正确的类目是【[]】
第10个关键词car保存成功!
查询花费时间24.24****************************************
开始查询car spare parts的类目!---------17/49
****************************************
正确的类目是【[]】
第12个关键词electric car保存成功!
查询花费时间21.61****************************************
开始查询car air purifier的类目!---------18/49
开始查询toys car的类目!---------19/49
****************************************
正确的类目是【Car Stickers】
第16个关键词car sticker保存成功!
查询花费时间11.92****************************************
开始查询toy car的类目!---------20/49
开始查询car mobile phone holder的类目!---------21/49
开始查询car keychains的类目!---------22/49
****************************************
正确的类目是【Air Purifiers】
第18个关键词car air purifier保存成功!
查询花费时间25.31****************************************
开始查询car holder的类目!---------23/49
****************************************
正确的类目是【Mobile Phone Holders】
第21个关键词car mobile phone holder保存成功!
查询花费时间15.88****************************************
开始查询car usb charger的类目!---------24/49
****************************************
正确的类目是【Radio Control Toys】
第19个关键词toys car保存成功!
查询花费时间23.01****************************************
开始查询car vacuum cleaner的类目!---------25/49
开始查询magnetic car phone holder的类目!---------26/49
开始查询car toy的类目!---------27/49
IP失效,正在更换IP。。。。
更换后的IP是http://45.76.176.68:8080
****************************************
正确的类目是【Mobile Phone Holders】
第23个关键词car holder保存成功!
查询花费时间13.29****************************************
开始查询car cover的类目!---------28/49
开始查询auto spare parts car的类目!---------29/49
****************************************
正确的类目是【Mobile Phone Holders】
第26个关键词magnetic car phone holder保存成功!
查询花费时间18.70****************************************
开始查询car lighting的类目!---------30/49
****************************************
正确的类目是【Car Charger】
第24个关键词car usb charger保存成功!
查询花费时间28.78****************************************
开始查询car light的类目!---------31/49
****************************************
正确的类目是【Radio Control Toys】
第27个关键词car toy保存成功!
查询花费时间21.06****************************************
开始查询universal car charger的类目!---------32/49
开始查询car key chain的类目!---------33/49
****************************************
正确的类目是【Machining】
第29个关键词auto spare parts car保存成功!
查询花费时间20.43****************************************
开始查询remote control car的类目!---------34/49
开始查询remote controlled car的类目!---------35/49
IP失效,正在更换IP。。。。
更换后的IP是http://45.76.157.40:8080
开始查询car humidifier的类目!---------36/49
开始查询car phone charger的类目!---------37/49
****************************************
正确的类目是【Auto Lighting System】
第31个关键词car light保存成功!
查询花费时间27.77****************************************
开始查询car washer的类目!---------38/49
开始查询car repair tools的类目!---------39/49
开始查询car mat的类目!---------40/49
****************************************
正确的类目是【Radio Control Toys】
第35个关键词remote controlled car保存成功!
查询花费时间23.82****************************************
开始查询car repair tool的类目!---------41/49
开始查询cnc machining car parts的类目!---------42/49
开始查询car led light的类目!---------43/49
开始查询car led lighting的类目!---------44/49
****************************************
正确的类目是【Car Mats】
第40个关键词car mat保存成功!
查询花费时间18.76****************************************
开始查询led car light的类目!---------45/49
开始查询ride on car的类目!---------46/49
****************************************
正确的类目是【Machining】
第42个关键词cnc machining car parts保存成功!
查询花费时间19.80****************************************
开始查询fast car charger的类目!---------47/49
****************************************
正确的类目是【Auto Lighting System】
第45个关键词led car light保存成功!
查询花费时间10.11****************************************
开始查询car neck pillow的类目!---------48/49
开始查询qc3.0 car charger的类目!---------49/49
****************************************
正确的类目是【Auto Lighting System】
第44个关键词car led lighting保存成功!
查询花费时间22.62****************************************
****************************************
正确的类目是【Charger】
第47个关键词fast car charger保存成功!
查询花费时间13.77****************************************
****************************************
正确的类目是【Ride On Car】
第46个关键词ride on car保存成功!
查询花费时间19.35****************************************
****************************************
正确的类目是【Charger】
第49个关键词qc3.0 car charger保存成功!
查询花费时间9.21****************************************
总用时190.91秒,平均用时3.90秒

进程已结束,退出代码 0

你可能感兴趣的:(国际站运营,python,redis,数据挖掘)