利用selenium爬取小麦种质资源信息

写在前面的话

好哥们帮忙，爬下小麦种植资源库的信息。两万多条数据也是难为我那好哥们了。老数据库，只能用IE10及一下版本浏览器打开，而且还是动态网页。网页也不太稳定。只能尝试用selenium爬着

前期准备

1. anaconda 装上，官网有不想说

2. selenium 装上，

   
   
   image.png

pip install selenium

3. IE 10 webdriver 的驱动装上（曾经在win 10 64位的IE 11上试过，click() 没反应只能放弃）
   IE webdriver 驱动，下载需要翻

4. 将internet选项中内容的4个“启动保护模式”都取消勾选

   
   
   image.png

5. 代码

#coding=utf-8
import pandas as pd
import os
from selenium import webdriver
import time


all_number_temp = 50   # 所有种类数目

iedriver = "C:\Program Files\Internet Explorer\IEDriverServer.exe"
os.environ["webdriver.ie.driver"] = iedriver

driver = webdriver.Ie(iedriver)

def pandas_to_xlsx(info):
    pd_look = pd.DataFrame(info)
    xlsx_n = '种质资源.xlsx'
    sheet_n = '种质资源'

    pd_look.to_excel(xlsx_n,sheet_name=sheet_n)

        
def smart_wait_repeat(element_old):  # 智能等待时间，60秒超时
    for i in range(60):            # 循环60次，从0至59
        if i >= 60 :               # 当i大于等于59时，打印提示时间超时
            print("timeout")    
            break
        try:                       # try代码块中出现找不到特定元素的异常会执行except中的代码
            if driver.find_element_by_id("r2"):
                text_list = driver.find_element_by_xpath("//body/div[2]").text.split()
                if element_old != text_list[21] : # 如果能查找到特定的元素id就提前退出循环
                    print(text_list[21])
                    return text_list                   
                    break
        except:                    # 上面try代码块中出现异常，except中的代码会执行打印提示会继续尝试查找特定的元素id
            print("wait for find element")
        time.sleep(0.5)


# 网页操作

def main():
    driver.get("种质的网址") 

    driver.execute_script("query()")                        
   
    element_old = "0"
    text_list = smart_wait_repeat(element_old)
    #统计总数
    print(text_list[9])                                        
    data_list = []    
    for index in range(int(all_number_temp)):        
        text_list = smart_wait_repeat(element_old)
        element_old = text_list[21]
        driver.find_element_by_id("nexthehe").click()
        list_name = "库编号 品种名称 属名 育成年限 东经 芒 冬春性 穗长 粗蛋白 硬度 耐涝性 田间抗寒性 条锈反应型 叶锈反应型 秆锈反应型 白粉反应型 赤霉病病指 根腐叶病级 省 统一编号 译名 学名 原产地 北纬 壳色 成熟期 株高 赖氨酸 容重 芽期耐盐 人工抗寒性 条锈普遍率 叶锈普遍率 秆锈普遍率 黄矮病 赤霉病指数 根腐穗病级 样品类型 保存单位 科名 系谱 高程 来源国 粒色 穗粒数 千粒重 沉淀值 抗旱性 苗期耐盐 条锈严重度 叶锈严重度 秆锈严重度 白粉严重度 赤霉病病穗 赤霉病抗性 其它".split()
        data = {}

        for item_name in list_name:
            temp_t = text_list[text_list.index(item_name)+1]
            if temp_t in list_name:
                data[item_name] = "NA"
            else:
                data[item_name] = temp_t
        #print(data)
        data_list.append(data)

    pandas_to_xlsx(data_list)

main()

6. 后面因为种种原因，改了改代码，加上
   1 统计数据总数，循环总数遍
   2 爬100条就保存下
   3 每5秒钟网页没反应就点击下上一页再点击下下一页