爬虫中的代理问题

一、前言

最近身边很多人都遇到爬虫中的代理问题，写下这篇博客来记录自己所学，希望可以帮助到你们。

可能很多人都会问为什么我需要用代理呢？不用不可以吗？用了代理之后发现爬虫抓取数据的速度反而下降了不少于是放弃爬虫代理的使用。

如果我们只是进行少量数据的爬取，用本机的IP与User-Agent去抓取数据完全OK，没问题。你可以关闭网页了，因为我下面要讲的东西你用不上。如果你需要大规模爬取数据请接着往下看。

当你抓取的数据达到一定量后，你会发现程序会时不时给你报错，而且频率越来越来高。这说你的爬虫被人家识别出来了，对方的反扒系统已经记住了你。通常会告诉你连接超时、连接中断更有甚者不会直接中断你程序，它会给你一些假数据或者将你的爬虫带入一个死循环，还有许多诸如此类的反扒措施这里就不一一介绍了。

面对网站中的反扒系统，我们可以做的又有哪些呢？这里我们主要讲解代理User-Agent的应用与IP的爬取及应用。

二、User-Agent

（一）什么是User-Agent

User-Agent是一个特殊字符串头，被广泛用来标示浏览器客户端的信息，使得服务器能识别客户机使用的操作系统和版本，CPU类型，浏览器及版本，浏览器的渲染引擎，浏览器语言等。

不同的浏览器（IE，FF，Opera, Chrome等）会用不同的用户代理字符串（User Agent Strings）作为自身的标志，当搜索引擎（Google，Yahoo,Baidu，Bing）在通过网络爬虫访问网页时，也会通过用户代理字符串来进行自身的标示，这也是为何网站统计报告能够统计浏览器信息，爬虫信息等。网站需要获取用户客户端的信息，了解网站内容在客户端的展现形式，一些网站通过判断UA来给不同的操作系统，不同的浏览器发送不同的页面，不过这也可能造成某些页面无法再某个浏览器中正常显示.

更多关于User-Agent的讲解参见：User Agent的学习

（二）获取随机User-Agent与使用

1. 安装fake_useragent：

pip install fake_useragent

2. 导入fake_useragent

from fake_useragent import UserAgent

3. fake_useragent的获取

 headers = {'User-Agent':str(UserAgent().random)}
 '''
 代码含义：生成随机User-Agent
 '''

4. User-Agent的使用

req = requests.get(url=url, headers=headers)
'''
将生成的随机User-Agent放入headers传入requests,get()中即可

'''

三、代理ip

（一）代理IP的获取

这部分我就不展开说了，主要是给大家提供一些可以获取IP的网站，大家可自行爬取

1. https://www.kuaidaili.com/free/
2. http://www.xicidaili.com/
3. http://www.goubanjia.com/
4. https://ip.ihuan.me/
5. http://www.66ip.cn/
6. http://www.89ip.cn/
7. http://www.ip3366.net/

（二）代理IP的使用

我这的IP是存放在txt文件当中，当然，如果需要抓取的数据比较多的话，建议还是将IP存储在数据库中。

1. 从本地文件中获取ip：

def get_ip_list():      
    f=open('ip.txt','r')      
    ip_list=f.readlines()      
    f.close()      
    return ip_list  

2. 生成随机IP：

def get_random_ip(ip_list):      
    proxy_ip = random.choice(ip_list)      
    proxy_ip=proxy_ip.strip('\n')      
    proxies = {'https': proxy_ip}      
    return proxies  

3. IP的使用：

ip_list = get_ip_list
proxies = get_random_ip(ip_list)
req = requests.get(url=url, proxies=proxies,headers=headers)

（三）IP的检验

很多童鞋在使用代理IP后，程序还是会报错，这是为什么呢？

我们在买酸奶的时候都会留意一下保质期，为什么呢？保质期短啊，短的七八过期，长的也只有30来天。IP也一样，每个IP都是有实效的，IP失效是很常见的。所以我们需要定时对IP的有效性进行检验

如何检验IP的有效性推荐阅读：代理ip中的proxies

我们在爬取代理IP的过程中会注意到这样一个有趣的现象，每个IP商家都会把它的所在地（北京、上海、欧洲等等）在旁边注明，这是为什么呢？

我之前在爬CSDN的过程中遇到一个问题困扰了我很久，同一个IP我拿去爬简书（具体是不是简书我记得不是很清楚了）没问题信息很快就抓取出来了，但是拿来爬CSDN就不行要么链接中断，要么就是请求超时。后来我做了大量的实验。得出这样一个结论：IP地址的所在位置会影响IP对于不同网站的质量。简单点来说，假设我拿一个位于IP美国的IP去爬美国的网站，从请求到响应的时间为2秒；我再拿这个IP去爬中国的网站，响应时间就是长于2秒甚至出现连接超时的错误。

鉴于上述，我建议大家在检验IP的有效性时，还是以目标网站为检验网站。我要爬A网站，那么我就拿A网站来检验IP的有效性。

四、如何应付网站的反扒系统

用上了随机User-Agent和代理IP大部分网站就没有什么问题了，但还是会出现一些反扒措施比较厉害的网站，我们拿具体的案例来解析。

情景一： 爬虫在运行但是许久没有数据出来

解决方案：timeout

try:
	proxies = get_random_ip(ip_list)
    headers = {'User-Agent':str(UserAgent().random)}
	req = requests.get(url=url, proxies=proxies,headers=headers,timeout=20)
except:
	time.sleep(5)
	proxies = get_random_ip(ip_list)
    headers = {'User-Agent':str(UserAgent().random)}
    req = requests.get(url=url, proxies=proxies,headers=headers,timeout=20)
'''
timeout=20：当请求超过20秒还没得到服务器的相应时中断请求
在中断请求后间隔5秒后更换新的User-Agent、IP重新发送请求
'''

关于爬虫代理更多知识参见：爬虫代理

如有不足欢迎留言指正！