python爬虫之xpath解析

Xpath 是一种用在XML文档中定位元素的语言，且支持html元素的解析。

Xpath本质是通过路径来查找html中的元素。

相关语法

表达式	说明
/	从根节点开始
//	从任意节点开始
.	选取当前的节点
…	选取当前节点的父节点
@	选取属性
*	通配符, 表示任意节点或任意属性

节点关系

1. 父节点: parent, 上一级节点.
2. 子节点: child, 下一级节点.
3. 兄弟节点: sibling, 同级节点, 拥有相同的父节点.
4. 祖先节点: ancestor, 爷爷辈及以上的节点.
5. 后代节点: descendant, 孙辈及一下的节点.
6. following: 选取文档中当前节点的结束标签之后的所有节点。
7. preceding: 选取文档中当前节点的开始标签之前的所有节点.

html.xpath("//td/child::*") #td节点下所有的子节点
html.xpath("//td/follwing::text()") #td节点下结束标签之后的所有节点的文本

html.xpath("//child::")

常用函数

函数	说明
contains ()	//div[contains(@id,‘迪文’)] ,表示选择id中包含有’迪文’的div节点
text()	节点的文本
starts-with()	//div[starts-with(@id,‘迪文’)] ，表示选择以’迪文’开头的id属性的div节点
ends-with()	//div[ends-with(@id, ‘迪文’)], 选取 id 属性以 迪文结尾的 div 元素
not(), and()	//div[@name=‘迪文’ and not(contains(@class,‘b’))], 表示匹配出name为迪文并且class的值中不包含b的div节点
string()	元素节点内部所有节点元素的文本内容
position()	选取位置
正则表达式	[re:match(@class, ‘迪文\d.’)]