Python爬虫使用代理-小案例

此前写了一个天眼查的爬虫，，，然后就有人问我：没有遇到反爬吗？反爬肯定是有的，看你爬取的快慢了，爬取效率高带来的是封IP和验证码；那么防止封IP可以降低爬取效率，也可以使用IP代理池，都非常的简单，前者导入一个time模块就行，每隔几秒爬取一次，这个按自己的情况来；IP代理池就要到相关网站去获取代理，有收费的和免费的，免费的肯定可用性低于收费的。

废话不多说，下面就是一个简单的小案例，我是先将爬取到的免费代理存储到redis数据库中，用的时候再拿出来，再通过校验它的可用性，这时候才能用在我们正式的爬虫程序中。还有一点就是不可用的IP代理我们要从redis数据库中随时删除掉。

# coding=utf-8

"""
代理模板

使用代理进行请求，防止封IP
"""

import time
import redis
import requests
from lxml import etree

# redis数据库的配置信息，，默认是没有密码的
# redis数据库基于内存存储数据，效率高，读取速度快
r1 = redis.Redis()
r2 = redis.StrictRedis()
con = redis.StrictRedis(
    host='localhost',
    port=6379,
    db=2,
    password=None,
)

def daili_requests():
    for i in range(1, 1000):
        url = "https://www.kuaidaili.com/free/inha/" + str(i) + "/"

        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36",
            "Cookie": "channelid=bdtg_a3_a3a2; sid=1588040045318406; _ga=GA1.2.1750935230.1588040048; _gid=GA1.2.9785359.1588040048; Hm_lvt_7ed65b1cc4b810e9fd37959c9bb51b31=1588040048; Hm_lpvt_7ed65b1cc4b810e9fd37959c9bb51b31=1588040059",
        }

        time.sleep(1)
        response = requests.get(url=url, headers=headers)
        if response.status_code == 200:
            html = response.content
            save_data(html)


def save_data(html):
    global zongdaili
    global daili, daili_port
    datalist = etree.HTML(html)
    datas = datalist.xpath('//*[@id="list"]')

    # items_list = []

    for data in datas:
        dailis = data.xpath('./table/tbody/tr/td[1]/text()')
        # print(dailis)

        daili_ports = data.xpath('./table/tbody/tr/td[2]/text()')

        for daili in dailis:
            continue
        for daili_port in daili_ports:
            continue
        zongdaili = daili + ":" + daili_port
        return zongdaili

def dailisss():
    try:
        requests.get('https://www.baidu.com ', proxies={"http": zongdaili})

    except:

        print('connect failed')
    else:
        print('success')
        con.rpush(zongdaili, 'ip_port')


if __name__ == '__main__':
    daili_requests()