爬虫之XPath基础篇

一 点睛

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

所以在做爬虫时，我们完全可以使用XPath来做相应的信息抽取。

XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。几乎所有我们想要定位的节点，都可以用XPath来选择。

XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/。

二 XPath常用规则

表达式	描述
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

这里列出了XPath的常用匹配规则，示例如下：

//title[@lang='eng']

这就是一个XPath规则，它代表选择所有名称为title，同时属性lang的值为eng的节点。

后面会通过Python的lxml库，利用XPath进行HTML的解析。

三 安装

(venv) E:\WebSpider>pip install lxml

四 实战1

1 代码

# 导入lxml库的etree模块
from lxml import etree
# 声明了一段HTML文本
text = '''

    

         
first item
         
second item
         
third item
         
fourth item
         
fifth item
     

'''
# 调用HTML类进行初始化，这样就成功构造了一个XPath解析对象
# 这里需要注意的是，HTML文本中的最后一个li节点是没有闭合的，但是etree模块可以自动修正HTML文本。
html = etree.HTML(text)
# tostring()方法即可输出修正后的HTML代码，但是结果是bytes类型。
result = etree.tostring(html)
# 这里利用decode()方法将其转成str类型
print(result.decode('utf-8'))

2 结果

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py

    

         
first item
         
second item
         
third item
         
fourth item
         
fifth item
     

3 说明

经过处理之后，li节点标签被补全，并且还自动添加了body、html节点。

五 实战2

1 代码

from lxml import etree
# 直接读取文本文件进行解析
# test.html的内容就是上面例子中的HTML代码
html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

2 运行

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py


    

         
first item
         
second item
         
third item
         
fourth item
         
fifth item
     

3 说明

这次的输出结果略有不同，多了一个DOCTYPE的声明，不过对解析无任何影响。

六 所有结果

1 代码

from lxml import etree
html = etree.parse('./test.html', etree.HTMLParser())
# 一般会用//开头的XPath规则来选取所有符合要求的节点。
result = html.xpath('//*')
print(result)

2 运行结果

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py
[, , , , , , , , , , , , , ]

3 说明

这里使用*代表匹配所有节点，也就是整个HTML文本中的所有节点都会被获取。可以看到，返回形式是一个列表，每个元素是Element类型，其后跟了节点的名称，如html、body、div、ul、li、a等，所有节点都包含在列表中了。

七 指定标签

1 代码

from lxml import etree
html = etree.parse('./test.html', etree.HTMLParser())
# 这里要选取所有li节点，可以使用//，然后直接加上节点名称即可，调用时直接使用xpath()方法即可。
result = html.xpath('//li')
print(result)
print(result[0])

2 运行结果

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py
[, , , , ]

3 说明

这里可以看到提取结果是一个列表形式，其中每个元素都是一个 Element对象。如果要取出其中一个对象，可以直接用中括号加索引，如[0]。