xpath高级用法

本篇主要介绍Xpath的一些高级用法，Xpath定位速度较快，是爬虫在网页定位中的较优选择。
测试工具及环境：Python3.6.4，lxml（第三方库）

测试所使用的html代码片段：

1、匹配某节点下的所有

// 获取文档中所有匹配的节点
. 获取当前节点，有的时候我们需要获取当前节点下的所有节点
一定要结合 . 使用 //，否则会获取整个文档的匹配结果

2、匹配包含某属性的所有的属性值（//@lang）

>>print(tree.xpath('//@code'))  
>>['84', '104', '223']

3、选取若干路径（|）
这个符号用于在一个xpath中写多个表达式，用 | 分开，每个表达式互不干扰

# 多个匹配条件
>>print(tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()'))   
>>['这里是个小标题', '1', '2', '3']

4、Axes（轴）

child：选取当前节点的所有子元素

child 子节点定位
>>print(tree.xpath('//div[@id="testid"]/child::ul/li/text()'))
>>['84', '104', '223']
# child::* 当前节点的所有子元素
>>print(tree.xpath('//div[@id="testid"]/child::*'))
>>[, , ]
# 定位某节点下为ol的子节点下的所有节点
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') 
>>['1', '2', '3']
# attribute：选取当前节点的所有属性
# attribute定位id属性值
>>print(tree.xpath('//div/attribute::id'))
>>['testid', 'go']
# 定位当前节点的所有属性
>>print(tree.xpath('//div[@id="testid"]/attribute::*'))
>>['testid', 'first']

ancestor：父辈元素 / ancestor-or-self：父辈元素及当前元素

# 定位父辈div元素的price属性
>>print(tree.xpath('//div[@id="testid"]/ancestor::div/@price'))
>>['99.8']

# 所有父辈div元素
>>print(tree.xpath('//div[@id="testid"]/ancestor::div'))
>>[]

# 所有父辈及当前节点div元素
>>print(tree.xpath('//div[@id="testid"]/ancestor-or-self::div')) 
>>[, ]

descendant：后代元素/ descendant-or-self：后代元素及当前元素
following：选取文档中当前节点的结束标签之后的所有节点

# 定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性
>>print(tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()')) 
>>['test1']

namespace：选取当前节点的所有命名空间节点

# 选取命名空间节点
>>print(tree.xpath('//div[@id="testid"]/namespace::*'))
>>[('xml', 'http://www.w3.org/XML/1998/namespace')]

parent：选取当前节点的父节点

# 选取data值为one的父节点的子节点中最后一个节点的值
>>print(tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()'))
>>['3']

preceding：选取文档中当前节点的开始标签之前的所有节点

# 记住是标签开始之前，同级前节点及其子节点
>>print(tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0])
>>时间

# 下面这两条可以看到其顺序是靠近testid节点的优先
>>print(tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0])
>>任务

>>print(tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0])
>>时间

preceding-sibling：选取当前节点之前的所有同级节点

# 记住只能是同级节点
>>print(tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0])
>>地点

# 这里返回的就是空的了
>>print(tree.xpath('//div[@id="testid"]/preceding-sibling::li'))
>>[]

self：选取当前节点

# 选取带id属性值的div中包含data-h属性的标签的所有属性值
>>print(tree.xpath('//div[@id]/self::div[@data-h]/attribute::*'))
>>['testid', 'first']

组合拳

# 定位id值为testid下的ol下的li属性值data为two的父元素ol的兄弟前节点h2的text值
>>print(tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0]) 
>>这里是个小标题

5、position定位

>>print(tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0])
>>2

6、条件

# 定位所有h2标签中text值为 '这里是个小标题'
>>print(tree.xpath('//h2[text()="这里是个小标题"]/text()')[0])
>>这里是个小标题

7、函数

count：统计

# 节点统计
>>print(tree.xpath('count(//li[@data])'))
>>3.0

concat：字符串连接

>>print(tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())'))
>>13

string：解析当前节点下的字符

# string只能解析匹配到的第一个节点下的值，也就是作用于list时只匹配第一个

>>print(tree.xpath('string(//li)'))
>>时间

local-name：解析节点名称

# local-name解析节点名称
>>print(tree.xpath('local-name(//*[@id="testid"])'))
>>div

contains(string1,string2)：如果 string1 包含 string2，则返回 true，否则返回 false

# 使用字符内容来辅助定位
>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0]
>>百度一下

一记组合拳

# 匹配带有href属性的a标签的先辈节点中的div，其兄弟节点中前一个div节点下ul下li中text属性包含“务”字的节点的值
>>print(tree.xpath('//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"务")]/text()')[0])
>>任务

not：布尔值（否）

# 不包含data属性的li标签统计
>>print(tree.xpath('count(//li[not(@data)])'))
>>18.0

string-length：返回指定字符串的长度

# string-length函数+local-name函数定位节点名长度小于2的元素
>>print tree.xpath('//*[string-length(local-name())<2]/text()')[0] 
>>百度一下

组合拳2

# contains函数+local-name函数定位节点名包含di的元素
>>print(tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]'))
>>[, ]

or：多条件匹配

# or 匹配多个条件
>>print(tree.xpath('//li[@data="one" or @code="84"]/text()'))
>>['1', '84']

# | 匹配多个条件
>>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') 
>>['1', '84']

组合拳3：floor + div除法 + ceiling

# position定位+last+div除法，选取中间两个
>>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()') 
>>['5', '6']

组合拳4：隔行定位：position+mod取余

# position+取余运算隔行定位
>>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()')

starts-with：以...开始

# 定位属性值以8开头的li元素
>>print(tree.xpath('//li[starts-with(@code,"8")]/text()')[0])
>>84

8、数值比较

<：小于

# 所有li的code属性小于200的节点
>>print(tree.xpath('//li[@code<200]/text()'))
>>['84', '104']

div：对某两个节点的属性值做除法

>>print(tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code'))
>>2.65476190476

组合拳5：根据节点下的某一节点数量定位

# 选取所有ul下li节点数大于5的ul节点
>>print(tree.xpath('//ul[count(li)>5]/li/text()'))
>>['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']

9、将对象还原为字符串

# 使用xpath定位一个节点
>>> s = tree.xpath('//*[@id="testid"]')[0]
>>> s
[]

# 还原这个对象为html字符串
>>> s2 = etree.tostring(s, encoding='utf-8').decode()
>>> s2

        这里是个小标题
        
            1
            2
            3
        
        
            84
            104
            223
        
    
进程已结束,退出代码0

说明一点，xpath虽快，但是使用时尽量使用简洁高效的方式，本文旨在定位那些较难的地方使用，刻意追求晦涩难懂的技巧会影响其效率，并不可取。

作者：52_St
链接：https://www.jianshu.com/p/b78...
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

xpath高级用法

这里是个小标题

这里是H3的内容百度一下

test1

test2

这里是个小标题

你可能感兴趣的:(xpath爬虫python3)

xpath高级用法

这里是个小标题

这里是H3的内容 百度一下 test1 test2

这里是个小标题

你可能感兴趣的:(xpath爬虫python3)

这里是H3的内容百度一下

test1

test2