xpath使用笔记

xpath学习笔记

xpath简介

1. xpath 用于在XML文档中通过元素和属性进行导航
2. xpath 使用路径表达式来选取 XML 或 HTML 中的节点或者节点集。

xpath 节点

1. 在 xpath 中 有七种类型的节点：

• 元素
• 属性
• 文本
• 命名空间
• 处理指令
• 注释
• 文档根节点

2. 节点关系

• 父级
• 子级
• 同辈级
• 先辈级
• 后代级

xpath 语法

表达式	描述	语法示例
nodename	选取此节点的所有子节点,用户选取标签名	book
/	从根节点选取	/book
//	从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置	//price 选择任意位置的 price 标签
.	选取当前节点	--
..	选取当前节点的父节点	--
@	选取属性	//@lang 选择lang标签的所有属性
[n]	选取属于某元素下的第n个子元素,索引从1开始	/bookstore/book[2]
[last()]	选取属于某个元素的最后一个元素	/book[last()] last() 当作函数理解
[last()-1]	选取属于某个元素的最后一个元素	/book[last()-1]
[position()]	做元素定位使用	/book[position()<3 选择最前面两个的book元素]
[@lang]	选择有属性为lang的元素	//book[@lang] 选择有lang属性的book标签
[@class=""]	选择class属性为某个值的元素	//div[@class="item"] 选择类名为item的div标签
*	匹配任何元素节点	--
@*	匹配任何属性节点	--
|	表示"或"	//bookstore/book/title|//bookstore/book/price 表示匹配文章中 bookstore 下 book 标签下的 title 或这 price 标签

语法示例：

from lxml import etree

html = '''
 
   
      
    Giada De Laurentiis  
    2005  
    30.00 
    

   
      
    J K. Rowling  
    2005  
    29.99 
    

   
      
    James McGovern  
    Per Bothner  
    Kurt Cagle  
    James Linn  
    Vaidyanathan Nagarajan  
    2003  
    49.99 
   

   
      
    Erik T. Ray  
    2003  
    39.95 
   



'''
# 将字符串转为html对象
html = etree.HTML(html)


# 获取bookstore下book标签的title标签
res = html.xpath('//bookstore/book/title')
print(res)
# 返回值（列表中是对象）：[, , , ]

# 获取bookstore下book标签的title标签中category属性值为“web”
res = html.xpath('//bookstore/book/title[@category="web"]')
print(res)
# 返回值（列表中是对象）：[]

# 获取bookstore下book标签的title标签中category属性值为“web”的标签的值
res = html.xpath('//bookstore/book/title[@category="web"]/text()')
print(res)
# 返回值（列表中是字符串）：['XQuery Kick Start']

# 获取bookstore下book的price属性为100的标签下的title()标签的值
res = html.xpath('//bookstore/book[@price="100"]/title/text()')
print(res)
# 返回值（列表中的是字符串）：['Everyday Italian', 'Learning XML']

# 获取bookstore 下book下第1个标签的所有属性 [1]:表示选择第几个标签 @*：表示选择所有的属性
res = html.xpath('//bookstore/book[1]/@*')
print(res)
# 返回值（列表中是字符串）

# 获取bookstore 下book带有任意属性的标签
res = html.xpath('//bookstore/book[@*]')
print(res)
# 返回值 (列表中的是对象)：[, , , ]

# 获取带有属性的title元素的值
res = html.xpath('//title[@*]/text()')
print(res)
# 返回值（列表中的是字符串）：['Everyday Italian', 'Harry Potter', 'XQuery Kick Start']

# 获取book下的 title 和 price 标签
res = html.xpath('//book/title | //book/price')
print(res)
# 返回值：（列表中的是对象）：[, , , , , , , ]

# 获取book有category或price属性的值
res = html.xpath('//book/@category | //book/@price')
print(res)
# 返回值 （列表中的是字符串）：['100', 'cooking', 'children', 'web', 'web', '100']

补充：

• items.xpath('.//div[starts-with(@class, "item")]')
  表示div的 class 属性以 item 开头