Python网络爬虫实战——实验4：Python爬虫代理的使用

【实验内容】

本实验主要介绍在爬虫采集数据的过程中代理的使用。

【实验目的】

1、掌握代理使用的基本场景；
2、解决IP封锁问题；
3、提高爬虫访问效率；

【实验步骤】

步骤1选择代理服务提供商
步骤2配置爬虫使用代理
步骤3 采集数据生成json文件

步骤1选择代理服务提供商
(1) 代理的概念
代理（Proxy）是一种网络服务，它充当客户端和目标服务器之间的中介，接受来自客户端的请求并将其转发给目标服务器。代理可以修改、过滤、缓存请求，同时也可以隐藏客户端的真实IP地址。在网络爬虫和其他网络应用中，代理通常用于实现以下目的：

• 隐藏真实IP地址
• 绕过IP封锁提高访问速度和效率
• 访问受限制的内容
• 实现负载均衡

(2) 选择代理服务商
有许多代理服务商提供各种类型的代理服务，包括HTTP、HTTPS、Socks5等。以下是一些常见的代理服务商，它们提供了不同类型的代理，适用于各种需求。

• 阿布云（Abuyun）
• 快代理（Kuai Proxy）
• 芝麻代理（ZhiMa Proxy）

本次实验以快代理为例。

注册登录账号后，选择购买如所示的代理（以隧道代理为例）。
-***************************************************************************
购买完成后回到账户管理页面，在我的订单可以看到刚刚购买的产品。
-***************************************************************************
步骤2配置爬虫使用代理
以四川政府采购中标数据为例(http://www.ccgp-sichuan.gov.cn/)，在不使用代理对该网址进行高频率数据采集时，本机ip会被该网址进行屏蔽，返回空数据，此时就需要代理ip 的介入。
-*************************************************************************
配置代理ip，将其封装为一个函数，这样便于整个项目的使用。
-***************************************************************************

步骤3 采集数据生成json文件
(1) 获取子页面链接
分析该网址很容易发现该网页使用ajax发送请求返回数据，因此我们只需要对该接口发送请求就可以获得子页面的数据。/=====================================================================/
-************************************************************************
从返回的数据中解析出子链接、地区名、地区码，将其传递给parse_html解析页面。

(2) 解析子页面数据
/======================================================================================================================================/
-*********************************************************************
使用lxml.html的clean模块将返回的文本内容进行清理，去除掉

文件部分内容如下：
-*********************************************************************