爬虫：lxml库和Xpath语法

XPath简介

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。

W3School官方文档：http://www.w3school.com.cn/xpath/index.asp

选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看 到的表达式非常相似。最常用的路径表达式：

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

XPath的运算符

lxml库

lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样,也是用 C 实现的,是一款高性能的 Python HTML/XML 解析器,可以利用之前学习的
XPath语法,快速定位特定元素以及节点信息。

lxml python 官方文档:http://lxml.de/index.html

解析 HTML 代码

lxml 可以自动修正 html 代码,不仅补全了 li 标签,还添加了 body,html 标签。

from lxml import etree	# 使用 lxml 的 etree 库
text = '''


first item
second item
third item
fourth item
fifth item # 注意,此处缺少一个 
 闭合标签

'''
html = etree.HTML(text) 		#利用etree.HTML,将字符串解析为HTML文档
result = etree.tostring(html)	# 按字符串序列化HTML文档
print(result)

文件读取

利用 etree.parse() 方法来读取文件

from lxml import etree
# 读取外部文件 hello.html
html = etree.parse('./hello.html')
result = etree.tostring(html, pretty_print=True)
print(result)

实例测试

html.xpath('//li')			# 获取所有的li标签
html.xpath('//li/@class') 		# 获取;li标签的所有 class 属性
html.xpath('//li/a[@href="link1.html"]')	# 获取;li标签的href 为 link1.html的标签
html.xpath('//li//span')		# 获取li标签下的所有span标签, / 是用来获取子元素的
html.xpath('//li/a//@class')		# 获取li标签下的所有a标签的class属性
html.xpath('//li[last()]/a/@href')		# 获取最后一个li的a标签的href属性;
html.xpath('//li[last()-1]/a')		# 获取倒数第二个元素的内容
html.xpath('//*[@class="bold"]')		# 获取 class 值为 bold 的标签名