【Python_爬虫】【多进程】免费代理池模块

总述

现在的网络反爬虫手段层出不穷，针对该问题最简单的方法就是更换代理，该博文展示一种获取免费可用代理的方法

该模块最终会返回一个可用代理(Proxy)的列表，在其他类中导入该模块接收列表即可，实现了接口操作

该模块核心知识点：

1.代理网址中 ip 数据的提取，这边采用xpath进行数据提取；

2.对获取到的 ip 数据进行检查，涮选出可用 ip；

3.通过进程池模块提高爬虫效率，降低爬取所需时间；

 

1.如何从代理网站上提取代理内容

代理网址很多，例如：快代理、西刺代理、98免费代理 等等，这边我们讲解西刺代理网址中的 ip 数据获取，其他网站以此类推。

首先，我们要明确知道我们需要哪些信息，在这边我们要获取IP地址以及端口号然后对其组合(htt