Python-爬虫基础-Xpath配合获取网页特定标签内容

上一篇MonkeyLei：Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等） 我们爬取了内容，接下来就可以用xPath做内容分析了，进而获取我们想要爬的内容。

xPath知识有必要了解，然后我们需要做点实践学习熟悉它....

1. 先看基本语法

https://www.w3school.com.cn/xpath/xpath_syntax.asp

https://blog.csdn.net/Nikki0126/article/details/90752678 - 基本照着这个就可以实践了，还是比较清晰。

开始之前需要安装浏览器xPath插件哟 MonkeyLei：解决Chrome插件安装时程序包无效【CRX_HEADER_INVALID】(转载+xPath插件)

难点应该就在于语法如何写，以及根据自己的需求定制语法规则...

2. 几个点

image

比如我们xPath工具去google浏览器瞅瞅 - 这个得出来的规则按需完善后就可以直接运用到代码里面->html_object.xpath('//[@id="talented"]/div[2]/ul/li/span/a/@href'*)

image

image

3. 开始实践

xpath.py

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
# 文件名：xpath.py

from lxml import etree
from urllib import request

# 1\. 先来个简单的吧 缺 ，后面用etree.tostring可以补全！
url = '''



    
    



    

        
这是第一条信息
    
    

        
空数据
    
    

        东北大学
    

'''
data = url

# 2\. 解析首页列表
if data:
    # print(data)
    # 转换为html对象，以便进行path查找
    html_object = etree.HTML(data)
    # 补全网页字符串
    last_html_data = etree.tostring(html_object)
    # 再次转换为html对象，以便进行path查找
    html_object = etree.HTML(last_html_data)
    # 利用浏览器插件Chrome插件XPath Helper获取标签格式，然后进行查找
    # 格式类似： '//*[@id="page"]/div/div/div[2]/div[2]/div[1]/div[2]'
    '''
    // 定位根节点
    / 往下层寻找
    / text()提取文本内容,  比如：/li/text() - 提取li的文本内容
    /@XXX提取XXX属性内容, 比如： a/@href - 提取a的href属性
    [@id="xx"]获取指定id属性内容, 比如: ul[@id="name_list"] - 提取id为name_list的ul列表
    '''
    result = html_object.xpath('//*')  # '//'表示获取当前节点子孙节点，'*'表示所有节点，'//*'表示获取当前节点下所有节点
    for item in result:
        print(item)
        ''' ......
            
            
            ....
        '''
    # 获取ui的li的文本内容
    path_data = html_object.xpath('//div[@id="content"]/ul/li/text()')
    for item in path_data:
        print(item)
    # 获取指定ul的li的内容
    path_data = html_object.xpath('//div[@id="content"]/ul[@id="message"]/li/text()')
    for item in path_data:
        print(item)
    # 当前标签比较单一的时候，可以不用id指定，直接找想要的值 - 灵活应对吧
    path_data = html_object.xpath('//div/div/a/@href')
    for item in path_data:
        print(item)

# 再来个获取公开政策的网站 - 需要伪装成浏览器访问；不知道这样举例恰当不，政策网站还是不要乱爬吧！算了，改成大学的吧..我母校...
from fake_useragent import UserAgent
ua = UserAgent()
headers = {
    'User-Agent': ua.random
}
if True:
    url = 'http://www.neu.edu.cn/'
    req = request.Request(url, None, headers)
    data = ''
    with request.urlopen(req) as uf:
        while True:
            data_temp = uf.read(1024)
            if not data_temp:
                break
            data += data_temp.decode('utf-8', 'ignore')

    # 2\. 解析获取需要内容
    if data:
        # 转换为html对象，以便进行path查找
        html_object = etree.HTML(data)
        # 补全网页吧
        last_html_data = etree.tostring(html_object)
        # 再次转换为html对象，以便进行path查找
        html_object = etree.HTML(last_html_data)
        # 从网页工具xPath里面去获取规则，根据路径一层层往下找就行（这样能精准一些，但是如果标识都一样，且很多，数据就会很多
        path_data = html_object.xpath('//*[@id="talented"]/div[2]/ul/li/span/a/@href')  # //*[@id="talented"]/div[2]/ul/li/span/a/@href
        # 专注人才培养[@id="talented"]下面的列表
        for item in path_data:
            print(item)  # 得到路径补可能需要自己补全

代码里面都做了说明的，，应该还好

image

注意：得到的结果不管是几个都是一个数组。如果你有多个tab，多个div，而你需要只获取第一个，你就可以div[1]索引来获取，统一ul[1], li[n]也可以。。。

另外直接访问网站可能会有错误，400， 403等。需要你伪装浏览器的样子，另外涉及到表单之类的可能还需要你去查看form_data或者header，然后添加相关参数，认证才能访问。这个看实际怎么个情况吧。。。。

先这样记录下。大概知道怎么弄就行。。。后续真搞这个，还不是得深入。老规矩，多喝水，多放松，多走动，多锻炼，早睡早起！一起加油。。 回头还得继续我的Android深入。。。