搭建爬虫代理ip池的思路

换IP是爬虫要经常做的工作，因为频繁抓取信息，对网站服务器有极大的影响，因此许多网站都会有反爬机制，只要超过设置的值，IP就会被封，需要代理IP池，通过切换IP访问对方服务器，预防IP被封。那么这IP池怎么来的呢？可以搭建爬虫代理ip池，也可以使用代理IP池，使用哪个好呢？下面和IPIDEA全球http一起去了解下爬虫代理ip池。

1.设计思路
爬取免费提供代理IP的网站，提取一定数量的IP，接着验证这些IP的可用性，然后保存这些IP供爬虫时使用。由于免费IP代理网站提供的IP可用性和稳定性都比较低，所以需要程序大量爬取才可以获得一些可用IP。

2.开发环境
Python3.6.1，IDE是pycharm，系统是win10。主要使用到的库：requests、re。由于验证IP可用性时单进程效率较低，最后也使用了multiprocessing进程池Pool来提供程序的效率。

3.设计过程
爬取免不需成本的代理：这些IP有很多时效性很短，必须快速抓取并且快速使用，不然很容易就失效了。

测试IP的可用性：用IP去访问一个验证网址，然后看返回的网络状态码，如果是200，说明访问成功，IP有效。如果访问出错或是返回的状态码不是200，证明IP不可用。这里要设定一个访问超时限制，根据自己需求而定，不然有些代理ip稳定性很差，访问一个网页需要5-10s，这样ip我们留着也没有意义。需要注意，100个里也就几个ip能用，所以需要多爬一些，然后多验证一些。

4.整合代码：整合代码放在记事本保存。
建免费爬虫代理ip池这个方法，基本可以实现个人代理ip池。由于这些免费的ip稳定性很差，所以建议在爬虫使用前再验证一遍，很容易实现，可以直接调用自己写过的测试函数。

若需要使用动态代理ip，IPIDEA整合全球ip资源来自220＋国家地区的ip资源支持自定义提取，提供IP的同时更注重保障安全性。可以应用在很多行业领域，比如网络投票，网络爬虫等行业，但在使用的过程中，也要遵守行业规则。