爬虫12-使用IP代理防止被反爬

大家好，昨天我们讨论了一下爬虫与反爬虫之间的对抗，不可谓不激烈，今天我们主要来讨论应对反爬虫中非常重要的一种手段，那就是IP代理。

正常来说，我们访问一个URL是这样的：

image.png

客户端向URL所在的服务器发起请求，是会携带本机IP地址的，这样服务器就能获取到我们的IP地址，当这个IP地址在一个时间段内发起请求过于频繁，可能就会限制其一段时间内无法访问。

在编写爬虫程序的过程中，为了防止这种情况发生，就需要用到IP代理，IP代理的原理是这样的：

image.png

第一步：我们会向代理服务器发起请求，告诉代理服务器我们要访问https://www.zhihu.com
第二步：代理服务器会代替我们向https://www.zhihu.com发起请求
第三步：服务器接收到代理服务器发来的请求后，就会将数据返回给代理服务器
第四步：代理服务器接收到服务器返回的数据后，就会将数据发送给客户端

这样，通过代理服务器向URL所在的服务器发起请求，就能完美地隐藏我们自身的IP，从而使得我们的IP不会被限制访问。

但是这样做，当然会有代价，我们通过IP代理来获取我们想要的数据，需要通过代理服务器转发一下，这样自然就会导致爬取的速度变慢，只有使用本机IP发起请求才是最快的。

接下来，我们还是老规矩，通过代码来演示下如何通过IP代理来发起请求：

import requests

# 免费代理可以从https://www.xicidaili.com/中获取到，但是免费的ip代理存活率很低
proxy = {
    'http': '183.148.158.64:9999'
}

res = requests.get('https://www.baidu.com', proxies=proxy)
print(res.text)
# 如果能正确返回结果，那么就说明当前ip代理是存活的，是可以用的，否则当前ip代理是失效的

仅仅有一个代理ip是不够的，我们应该维护一个属于自己的ip代理池，当某一个ip代理失效的时候，就将它剔除出去，那么如何维护一个可用的ip代理池呢？

# 第一步：通过https://www.xicidaili.com/wt/获取到ip_list

import requests
from bs4 import BeautifulSoup
import random

def get_ip_list(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
    }
    res = requests.get(url, headers=headers)
    res = BeautifulSoup(res.text, 'html.parser')
    results = res.select('#ip_list tr')
    for result in results[1:]:
        ip = result.select('td')[1].text
        port = result.select('td')[2].text
        judge(ip, port)
        # 获取到了ip之后，并不能直接保存，首先应该判断是否可用

# 第二步：判断获取到的ip是否有效

ip_list = []

def judge(ip, port):
    proxy = {'http': ip+':'+port}
    try:
        res = requests.get('https://www.baidu.com', proxies=proxy)
    except Exception:
        print('该ip：' + ip + '无效')
        return False
    else:
        if 200 <= res.status_code < 300:
        # 返回的状态码在200到300之间表示请求成功
            ip_list.append((ip, port))
            return True
        else:
            print('该ip：' + ip + '无效')
            return False

# 第三步：从ip_list中随机获取一个ip

def get_random_ip():
    ip, port = random.choice(ip_list)
    result = judge(ip, port)
    if result:
        return ip + ':' + port
    else:
        ip_list.remove((ip, port))

# 第四步：调用上述函数

if __name__ == '__main__':
    get_ip_list('https://www.xicidaili.com/wt/')
    print(ip_list)
    print(len(ip_list))

完整代码如下：

import requests
from bs4 import BeautifulSoup
import random

ip_list = []

def get_ip_list(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
    }
    res = requests.get(url, headers=headers)
    res = BeautifulSoup(res.text, 'html.parser')
    results = res.select('#ip_list tr')
    for result in results[1:]:
        ip = result.select('td')[1].text
        port = result.select('td')[2].text
        judge(ip, port)

def judge(ip, port):
    proxy = {'http': ip+':'+port}
    try:
        res = requests.get('https://www.baidu.com', proxies=proxy)
    except Exception:
        print('该ip：' + ip + '无效')
        return False
    else:
        if 200 <= res.status_code < 300:
            ip_list.append((ip, port))
            return True
        else:
            print('该ip：' + ip + '无效')
            return False

def get_random_ip():
    ip, port = random.choice(ip_list)
    result = judge(ip, port)
    if result:
        return ip + ':' + port
    else:
        ip_list.remove((ip, port))

if __name__ == '__main__':
    get_ip_list('https://www.xicidaili.com/wt/')
    print(ip_list)
    print(len(ip_list))

这样，我们就得到了一个可用的ip代理池，可惜，遗憾的是免费的ip代理往往不稳定，绝大多数ip都是不可用的，大家可以去尝试下。

好啦，今天的讨论到这里就结束了，大家加油。