python 抓取下拉列表控制的表格的所有数据

 

目标是抓取所有选项下的表格数据。

目标网址：https://gkcx.eol.cn/school/search

 

用开发者工具查看表格及选项框的构造：

 

 

下拉框是

• 标签组成的，用js实现动态切换，靠selenium很难实现定位和模拟点击。

   

  解决方法：分析页面网络请求流，尝试抓取服务器返回给客户端的数据。

   

  选用方法步骤简述：先打开开发者工具，点击网络，此时点击切换省份，可以查看到请求流，其中类型为html的是我们需要的信息。点击的过程是客户端向服务器发送请求的过程，后面的分数就是服务器收到请求后向客户端返回的数据。

  

   

  单击查看它的头部信息，消息头里有个请求网址，我们对它进行分析

   

  

  

  所以，只需要改变上述几个参数，重构url，就可以通过url获取所有的数据!

   

  我尝试了用requests发送post请求，加上从页面获取的请求头信息，但是服务器应该是识别出了爬虫程序，所以访问没有成功，返回错误码503，最终还是决定用selenium，毕竟Selenium模拟人工很难被识别出来。

   

  双击点开开发者工具中html类型的请求，页面中的数据就是返回的Json数据，下一步就是抓取并解析。

  

   

  参考代码：

  import re
  from selenium import webdriver
  
  f = open("HunanTest.txt", 'r', encoding="utf-8")  # 打开抓取的url文件
  univs = []
  for i in f:  # 用正则表达式匹配数字（学校id）存在univs列表中
      univid = re.search(r'\d+', i).group()
      univs.append(univid)
  
  browser = webdriver.Firefox()
  info = []
  vacant = []
  
  # 四重for循环用于构建新的Url
  for univ in univs:
      for provId in open("prov.txt", 'r', encoding='utf-8'):  # 各省份的id
          for typeId in range(1, 3):  # 类别，理科是1，文科是2
              for year in range(2016, 2019):  # 年份，2016-2018
                  url = "https://api.eol.cn/gkcx/api/?access_token=&local_province_id=" + str(
                      provId) + "&local_type_id=" \
                        + str(typeId) + "&school_id=" + str(univ) + "&signsafe=&uri=apidata/api/gk/score/province&year=" \
                        + str(year)
                  browser.get(url)
                  html = browser.page_source
                  # 正则表达式匹配相关信息
                  try:
                      name = re.findall(r'"name":"(.+?)",', html)
                      prov = re.findall(r'"local_province_name":"(.+?)",', html)
                      typeNum = re.findall(r'"local_type_name":"(.+?)",', html)
                      average = re.findall(r'"average":"(.+?)",', html)
                      min = re.findall(r'"min":"(.+?)",', html)
                      max = re.findall(r'"max":"(.+?)",', html)
                      proscore = re.findall(r'"proscore":"(.+?)",', html)
                      batch = re.findall(r'"local_batch_name":"(.+?)",', html)
                      # 构建数据字典
                      data = {"学校名称": name[0],
                              "学校ID": univ,
                              "省份": prov[0],
                              "年份": year,
                              "类别": typeNum[0],
                              "平均分": average[0],
                              "最高分": max[0],
                              "最低分": min[0],
                              "省份批次线": proscore[0],
                              "录取批次": batch[0]
                              }
                      print(data)
                      info.append(data)
                  # 异常处理，很多学校在部分省份的招生信息是缺失的，获取不到信息时，就打印url并存储（暂无他用）
                  except IndexError:
                      print(url)
                      vacant.append(url)
  
  browser.close()
  

   

  结果：

  

   

转载于:https://www.cnblogs.com/cttcarrotsgarden/p/11235081.html