Python网络爬虫实战——实验2：Python爬虫网络请求与内容解析

【实验内容】

本实验主要通过requests、re与lxml库的使用，采集北京市政府招中标数据。（https://ggzyfw.beijing.gov.cn/index.html）

【实验目的】

1、熟悉网页结构、了解网络抓包的技巧；
2、了解requests网络请求库的基本使用；
3、掌握基础的re、xpath语法的使用；

【实验步骤】

步骤1 观察网址结构
步骤2 获取子页面链接
步骤3 解析子页面，输出json文件

步骤1：观察网址结构

（1）分析主页面

进入网址后，按下F12打开开发者工具，选择Fetch/XHR，点击下一页，可以看到服务器返回给我们的数据包，里面返回了子页面的信息，说明只要我们对https://ggzyfw.beijing.gov.cn/elasticsearch/search此接口发起请求，就可以获取子链接数据。

请求携带参数如上图所示。

（2）分析子页面
/==============================================================================================================================================/
**************************************************步骤2：获取子页面链接(main.py)
使用requests库对aip数据接口发起post请求，携带请求头headers与请求参数data，从响应的 JSON 数据中提取 ‘result’ 键对应的值，并使用 eval 函数将其转换为dict对象，如果返回的数据为空则跳出循环。
/================================================================================================/
/=================================================/
导包：main.py部分代码示例如下：

---

运行main.py，打印子页面链接如下图所示：

---

步骤3 解析子页面，输出json文件(extract_data.py)
（1）获取子页面文本数据
导包：

对子链接发起get请求，使用text属性获取返回的文本数据，使用lxml中的clean方法对获取到的数据进行清洗，
/======================================================================================================/
遍历该列表，使用列表推导式清理掉空白数据，并且使用re.sub()方法替换掉所有空白字符。
部分代码如下所示：

---

（2）提取文本数据
分析子页面后可以发现标题拥有class属性div-title,因此可以通过xpath 语法定位到该标签，并且拿到该标签的文本数据。
xpath表达式说明：

---

分析子页面返回数据后可以发现，使用正则提取信息来源与项目编号较为方便。

部分字段解析代码如下：

---

\S表示匹配任意非空字符，()表示一个捕获组，pattern3这个re表达式可以提取到信息来源后面的文本数据。如果提取到了之后将其赋值给变量informationRelease
/============================================================================================================/

（3）保存为json文件

将解析完成的字段保存在target这个字典中，使用open文件操作语句将数据追加到beijing-zhong.json文件中，使用json.dumps()将字典序列化。

beijing-zhong.json文件部分数据如下图所示。

---