113.xpath的使用

一.解析页面模块比较:

1.正则表达式是进行内容匹配，将符合要求的内容全部获取；

2.xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；

3.Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下;xpath的速度会快一点，因为xpath底层是用c来实现的

二. 语法不同

正则表达式使用元字符，将所有获得内容与匹配条件进行匹配，

---

而xpath和bs4将获取的解析后的源码进行按条件筛选，筛选出想要的标签即根据标签属性来找到指定的标签，之后对标签进行对应内容获取;

---

xpath：全称XML PATH Language, 一种小型的查询语言;

支持的解析：
1.xml格式
2.html格式
3.通过元素，和属性进行导航

---

三.xpath常用的规则

规则.png

四.常用的运算符

常用的运算符.png

五.例子

import lxml.etree as etree

# 1). 将html内容转化成xpath可以解析/匹配的格式;
html = """



    
    



    

        
NO.1
        
NO.2
        
NO.3
    
    

        
one
        
two
    


    58
    CSDN




"""
# print(type(html))
selector = etree.HTML(html)

# 2).
# //: 对全文进行扫描
# //div
# //div[@id="content"]
str = selector.xpath('//div[@id="content"]/ul[@id="ul"]/li/text()')
# 全文里搜索div标签-->筛选id = content的所有div标签--->再筛选出ul标签里id='ul'的标签---->li标签--->提取文字
# 输出的str为列表
print(str)
print(type(str))  # str为列表类型

---

---

['NO.1', 'NO.2', 'NO.3']

str = selector.xpath('//div[@id="url"]/a/@href')
print(str)

['http:www.58.com', 'http:www.csdn.net']

# 获取符合条件的标签内容;
str = selector.xpath('//div[@id="content"]')[0].extract()
print(str)

---

一、选取节点

表达式 描述 实例
nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点
/ |从根节点选取 xpath(‘/div’) 从根节点上选取div节点
// 选取所有的当前节点，不考虑他们的位置 xpath(‘//div’) 选取所有的div节点
. 选取当前节点 | xpath(‘./div’) | 选取当前节点下的div节点
.. 选取当前节点的父节点 | xpath(‘..’) | 回到上一个节点
@ 选取属性 xpath（’//@calss’） 选取所有的class属性

二、谓语

谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

实例：

表达式 结果
xpath(‘/body/div[1]’) 选取body下的第一个div节点
xpath(‘/body/div[last()]’) | 选取body下最后一个div节点
xpath(‘/body/div[last()-1]’) 选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’) 选取body下前两个div节点
xpath(‘/body/div[@class]’) 选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’) 选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’) 选取body下price元素值大于35的div节点

** 三、通配符**

Xpath通过通配符来选取未知的XML元素

表达式 结果
xpath（’/div/’） 选取div下的所有子节点
xpath(‘/div[@]’) 选取所有带属性的div节点

四、取多个路径

使用“|”运算符可以选取多个路径

| 表达式 | 结果 |
xpath(‘//div|//table’) 选取所有的div和table节点

五、Xpath轴

轴可以定义相对于当前节点的节点集

轴名称 表达式 | 描述
ancestor xpath(‘./ancestor::’) 选取当前节点的所有先辈节点（父、祖父）
ancestor-or-self xpath(‘./ancestor-or-self::’) 选取当前节点的所有先辈节点以及节点本身 |
attribute xpath(‘./attribute::’) 选取当前节点的所有属性
child |xpath(‘./child::’) | 返回当前节点的所有子节点
descendant xpath(‘./descendant::’) 返回当前节点的所有后代节点（子节点、孙节点）
following xpath(‘./following::’) 选取文档中当前节点结束标签后的所有节点
following-sibing xpath(‘./following-sibing::’) | 选取当前节点之后的兄弟节点
parent xpath(‘./parent::’) 选取当前节点的父节点
preceding xpath(‘./preceding::*’) 选取文档中当前节点开始标签前的所有节点

preceding-sibling xpath(‘./preceding-sibling::’) 选取当前节点之前的兄弟节点
self xpath(‘./self::’) 选取当前节点

**六、功能函数 **

使用功能函数能够更好的进行模糊搜索

函数 用法 解释
starts-with xpath(‘//div[starts-with(@id,”ma”)]‘) | 选取id值以ma开头的div节点
contains xpath(‘//div[contains(@id,”ma”)]‘) 选取id值包含ma的div节点
and xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) 选取id值包含ma和in的div节点
text() xpath(‘//div[contains(text(),”ma”)]‘) 选取节点文本包含ma的div节点
text()---直接取文本内容