XPath解析方式的具体使用

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

上一篇讲到了BeautifulSoup的使用方法以及案例。
有兴趣的小伙伴可以亲自动手试一下案例模仿
本篇着重讨论XPath解析方法的使用

提示：以下是本篇文章正文内容，下面案例可供参考

一、XPath原理

XPath原理：先将HTML文档转为XML文档，再用XPath查找HTML节点或元素

XML更倾向于传输数据，数据的内容

二、XPath节点关系

2、1父

2、2子

2、3同胞

2、4先辈

2、5后代

三、什么是XPath

XPath是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历

3、1选取节点

XPath使用路径表达式来选取XML文档中的节点或者节点集，这些路径表达式和我们在常规电脑文件系统里看到的表达式非常相似

3、2选取未知节点

XPath通配符可以用来选取未知的XML元素

在下面表格中，我们列举出一些路径表达式，以及这些表达式的结果：

3、3选取若干路径

通过在路径表达式中使用 “|” 运算符，可以选取若干路径

以上就是XPath的语法内容，在运用python抓取时要先转换为xml

四、lxml库使用

安装:pip install lxml

4.1初步使用

主要是
1、etree.HTML(html)转换为xml文档
2、通过etree.tostring()输出转换后的html代码
3、通过decode()方法转换为str类型
lxml可以自动修正HTML代码，例子里不仅补全了li标签，还添加了body，html标签

4.2XPath实例测试

1、获取所有的 < li > 标签

2、获取< li > 标签所有的class属性

3、获取< li > 标签下 < a> 标签里的所有href

4、继续获取< li > 标签下 href为link1.html的< a>标签的文本内容

总结

1、只要涉及到条件，加[]
2、只要获取属性值 加@
3、通过text()获取内容