python爬考研_python爬取考研网的信息

今天我们使用python来爬取考研网站的信息。

目标网站：

https://yz.chsi.com.cn/zsml/queryAction.do

使用的库：

requests,bs4,pandas

这些库统一可以使用pip进行统一安装

pip install requests

pip install bs4

pip install pandas

安装完之后我们便可以进行信息的爬取了

首先，我们去考研网上查看一下网站的头部信息：

使用开发者模式，在请求里面找到请求头部的信息。

我们需要把user-agent提取出来：

"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKi"

"t/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"

首先我们需要获取三个字段的接口数据，分别是：省份，学科，专业编号

http://yz.chsi.com.cn/zsml/pages/getSs.jsp

http://yz.chsi.com.cn/zsml/pages/getMl.jsp

http://yz.chsi.com.cn/zsml/pages/getZy.jsp

下面我们来获取一个学校的网址：

url ="http://yz.chsi.com.cn/zsml/queryAction.do"

data = {

"ssdm":self.province,

"yjxkdm":self.category,<