【Python_Selenium学习笔记（二）】基于Selenium模块实现网络爬虫

基于Selenium模块实现网络爬虫

前言

此篇文章主要介绍如何使用 Selenium 模块进行简单的网络爬虫，并以具体的示例进行展示。

正文

1、需求梳理

基于 Selenium + Chrome 抓取 中国排行网-行业排名-休闲娱乐下的网站信息

2、爬虫思路

1. 打开浏览器输入 Top100 主页地址 https://top.chinaz.com/hangye/index_yule.html；

2. 使用 Selenium 的 Xpath 找到 行业网站信息 节点对象列表；
   //*[@id="content"]/div[4]/div[3]/div[2]/ul/li[1]

3. 依次遍历每个元素，并依次提取每个行业网站信息；

4. 可利用 find_element(By.PARTIAL_LINK_TEXT, “”) 方法 判断是否为最后一页。
   

3、程序实现

1. 创建浏览器对象：

browser = webdriver.Chrome()  # 构造浏览器对象，打开浏览器
browser.get(url="https://top.chinaz.com/hangye/index_yule.html")  # 进入主页

2. 编写获取一页数据的函数

def get_one_page():
    """
    function:  获取一页数据的函数
          in:  None
         out:  None
      return:  None
      others:  Get One Page Data Func
    """
    li_list = browser.find_elements(By.XPATH,
                                    '//*[@id="content"]/div[4]/div[3]/div[2]/ul/li')  # 基准的xpath：匹配每个行业网站信息的节点对象列表
    item = {}  # 定义一个空字典
    for li in li_list:
        one_info_list = li.text.split("\n")  # text属性：获取当前节点以及其子节点和后代节点的文本内容
        item['排名'] = one_info_list[6].strip().split('得分:')[0]
        item['网站名称'] = one_info_list[0].strip()
        item['网站简介'] = one_info_list[5].strip().split('网站简介：')[1]
        print(item)  # 打印

3. while 循环抓取

while True:
    get_one_page()  # 调用 获取一页数据的函数
    try:
        # selenium 在找节点时，如果找不到，会抛出异常
        browser.find_element(By.PARTIAL_LINK_TEXT, ">").click()  # 看是否能找到'>'的
    except Exception as e:
        browser.quit()  # 退出浏览器
        break

4、完整代码

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()  # 构造浏览器对象，打开浏览器
browser.get(url="https://top.chinaz.com/hangye/index_yule.html")  # 进入主页


def get_one_page():
    """
    function:  获取一页数据的函数
          in:  None
         out:  None
      return:  None
      others:  Get One Page Data Func
    """
    li_list = browser.find_elements(By.XPATH,
                                    '//*[@id="content"]/div[4]/div[3]/div[2]/ul/li')  # 基准的xpath：匹配每个行业网站信息的节点对象列表
    item = {}  # 定义一个空字典
    for li in li_list:
        one_info_list = li.text.split("\n")  # text属性：获取当前节点以及其子节点和后代节点的文本内容
        item['排名'] = one_info_list[6].strip().split('得分:')[0]
        item['网站名称'] = one_info_list[0].strip()
        item['网站简介'] = one_info_list[5].strip().split('网站简介：')[1]
        print(item)  # 打印


while True:
    get_one_page()  # 调用 获取一页数据的函数
    try:
        # selenium 在找节点时，如果找不到，会抛出异常
        browser.find_element(By.PARTIAL_LINK_TEXT, ">").click()  # 看是否能找到'>'的
    except Exception as e:
        browser.quit()  # 退出浏览器
        break

5、实现效果