[269]Xpath高级用法

xpath速度比较快,是爬虫在网页定位中的较优选择,但是很多网页前端代码混乱难以定位,而学习定位也较为不易(主要是全面的教程较少)

试验环境:Python环境,lxml.etree

  • 试验所使用的html代码



    xpath test


  • 时间
  • 地点
  • 任务

这里是个小标题

  1. 1
  2. 2
  3. 3
  • 84
  • 104
  • 223

这里是H3的内容 百度一下
  • test1
  • test2

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

匹配某节点下的所有.//

//获取文档中所有匹配的节点,.获取当前节点,有的时候我们需要获取当前节点下的所有节点,.//一定要结合.使用//,否则都会获取整个文档的匹配结果.

匹配包含某属性的所有的属性值//@lang

print tree.xpath('//@code') #匹配所有带有code属性的属性值
>>['84', '104', '223']

选取若干路径|

这个符号用于在一个xpath中写多个表达式用,用|分开,每个表达式互不干扰

print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()') #多个匹配条件
>>[u'\u8fd9\u91cc\u662f\u4e2a\u5c0f\u6807\u9898', '1', '2', '3']

Axes(轴)

  • child:选取当前节点的所有子元素
>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子节点定位
>>['84', '104', '223']

>>print tree.xpath('//div[@id="testid"]/child::*') #child::*当前节点的所有子元素
>>[, , ]

>>#定位某节点下为ol的子节点下的所有节点
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') 
>>['1', '2', '3']
  • attribute:选取当前节点的所有属性
>>print tree.xpath('//div/attribute::id') #attribute定位id属性值
>>['testid', 'go']

>>print tree.xpath('//div[@id="testid"]/attribute::*') #定位当前节点的所有属性
>>['testid', 'first']
  • ancestor:父辈元素 / ancestor-or-self:父辈元素及当前元素
>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父辈div元素的price属性
>>['99.8']

>>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父辈div元素
>>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父辈及当前节点div元素
>>[]
>>[, ]
  • descendant:后代 / descendant-or-self:后代及当前节点本身

使用方法同上

  • following :选取文档中当前节点的结束标签之后的所有节点
#定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性
>>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()') 
>>['test1']
  • namespace:选取当前节点的所有命名空间节点
>>print tree.xpath('//div[@id="testid"]/namespace::*') #选取命名空间节点
>>[('xml', 'http://www.w3.org/XML/1998/namespace')]
  • parent:选取当前节点的父节点
>>#选取data值为one的父节点的子节点中最后一个节点的值
>>print tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()') 
>>['3']
>>#注意这里的用法,parent::父节点的名字
  • preceding:选取文档中当前节点的开始标签之前的所有节点
>>#记住是标签开始之前,同级前节点及其子节点
>>print tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0] 
>>时间
>>#下面这两条可以看到其顺序是靠近testid节点的优先
>>print tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0]
>>任务
>>时间
  • preceding-sibling:选取当前节点之前的所有同级节点
>>#记住只能是同级节点
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::li') #这里返回的就是空的了
>>地点
>>[]
  • self:选取当前节点
>>#选取带id属性值的div中包含data-h属性的标签的所有属性值
>>print tree.xpath('//div[@id]/self::div[@data-h]/attribute::*') 
>>['testid', 'first']
  • 组合拳
#定位id值为testid下的ol下的li属性值data为two的父元素ol的兄弟前节点h2的text值
>>print tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0] 
>>这里是个小标题

position定位

>>print tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0] 
>>2

div里边包含一个ul标签,ul标签内包含 7 个li标签,如果想获取其中的第2-6个:

//*[@id='nav']/ul/li[position()>1 and position()<7]

条件

>>定位所有h2标签中text值为`这里是个小标题`
>>print tree.xpath(u'//h2[text()="这里是个小标题"]/text()')[0]
>>这里是个小标题

//选择A/B/C的最后一个E子元素
xpath="/A/B/C/E[last()]" ;

//选择没有属性的B元素
xpath="//B[not(@*)]";
//选择不包含class属性的节点
xpath=".//span[not(@class)]";
//选择不包含class和id属性的节点
xpath=".//span[not(@class) and not(@id)]";

//选择含有属性name且其值(在用normalize-space函数去掉前后空格后)为’b’的B元素
xpath="//B[normalize-space(@name)=‘b’]";

//选择含有2个B子元素的元素
xpath="//*[count(B)=2]";

//选择所有名称为p标签或h2标签的元素
//*[name()="p" or name()="h2"]

//选择所有名称为p标签 and h2标签的元素
//*[name()="p" and name()="h2"]

//选择所有名称以"W"起始的元素
xpath="//*[starts-with(name(),‘W’)]";

//选择所有名称包含"W"的元素
xpath="//*[contains(name(),‘W’)]";
//选择不包含class="expire"的span
xpath=".//span[not(contains(@class,'expire'))]";
//选择包含class="expire"的span
xpath=".//span[contains(@class,'expire')]";

//选择名字长度为2(大于、小于)的元素;
xpath="//*[string-length(name()) = 2]";
xpath="//*[string-length(name()) < 2]";
xpath="//*[string-length(name()) > 1]";

//选择偶数位置的B元素
xpath="//B[position() mod 2 = 0 ]";

div运算符做浮点除法运算,
mod运算符做求余运算,
floor函数返回不大于参数的最大整数(趋近于正无穷),
ceiling返回不小于参数的最小整数(趋近于负无穷) */
xpath="//E[ position() = floor(last() div 2 + 0.5) or position() = ceiling(last() div 2 + 0.5) ]";

//可以忽略空白,寻找属性name=‘b’ or name=’ b '的元素
xpath="//@name[‘b’]";

//不忽略空白,完全匹配,寻找属性name='b’的元素
xpath="//@name[.=‘b’]";

匹配一个有id属性,并且id属性是以”id_prefix_”开头的超链接元素:a[id^=‘id_prefix_’]

匹配一个有id属性,并且id属性是以”_id_sufix”结尾的超链接元素:a[id$=’_id_sufix’]

匹配一个有id属性,并且id属性中包含”id_pattern”字符的超链接元素:a[id*=‘id_pattern’]

函数

  • count:统计
>>print tree.xpath('count(//li[@data])') #节点统计
>>3.0
  • concat:字符串连接
>>print tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())')
>>13
  • string:解析当前节点下的字符
>>#string只能解析匹配到的第一个节点下的值,也就是作用于list时只匹配第一个
>>print tree.xpath('string(//li)') 
>>时间
  • local-name:解析节点名称
>>print tree.xpath('local-name(//*[@id="testid"])') #local-name解析节点名称
>>div
  • contains(string1,string2):如果 string1 包含 string2,则返回 true,否则返回 false
>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0] #使用字符内容来辅助定位
>>百度一下

>>一记组合拳
>>#匹配带有href属性的a标签的先辈节点中的div,其兄弟节点中前一个div节点下ul下li中text属性包含“务”字的节点的值
>>print tree.xpath(u'//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"务")]/text()')[0] 
>>任务

注意:兄弟节点后一个节点可以使用:following-sibling

  • xpath匹配父标签下的最后一个标签(相同父标签下子标签个数不一致的情况)

有时候,相同的父节点下面的标签个数不一致,一个父节点下面是两个标签,另一个父节点下面是三个标签。
但是我们又想要把只有两个标签的父节点也记为三个子节点,并且把它最后一个节点的值记为None。可通过伪造的第三个标签和第二个标签比较,判断是不是应该为None。
如果子节点的标签也不一致,可以如下方式,这种情况比较少见:

//div[contains(@class, 'tv')]/child::node()[last()]
  • not:布尔值(否)
>>print tree.xpath('count(//li[not(@data)])') #不包含data属性的li标签统计
>>18.0
  • string-length:返回指定字符串的长度
>>#string-length函数+local-name函数定位节点名长度小于2的元素
>>print tree.xpath('//*[string-length(local-name())<2]/text()')[0] 
>>百度一下
  • 组合拳2
>>#contains函数+local-name函数定位节点名包含di的元素
>>print tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]') 
>>[, ]
  • or:多条件匹配
>>print tree.xpath('//li[@data="one" or @code="84"]/text()') #or匹配多个条件
>>['1', '84']
>>#也可使用|
>>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') #|匹配多个条件
>>['1', '84']
  • 组合拳3:floor + div除法 + ceiling
>>#position定位+last+div除法,选取中间两个
>>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()') 
>>['5', '6']
  • 组合拳4隔行定位:position+mod取余
>>#position+取余运算隔行定位
>>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()') 
  • starts-with:以。。开始
>>#starts-with定位属性值以8开头的li元素
>>print tree.xpath('//li[starts-with(@code,"8")]/text()')[0]
>>84

数值比较

  • <:小于
>>#所有li的code属性小于200的节点
>>print tree.xpath('//li[@code<200]/text()')
>>['84', '104']
  • div:对某两个节点的属性值做除法
>>print tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code')
>>2.65476190476
  • 组合拳4:根据节点下的某一节点数量定位
>>#选取所有ul下li节点数大于5的ul节点
>>print tree.xpath('//ul[count(li)>5]/li/text()')
>>['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']

将对象还原为字符串

>>> s = tree.xpath('//*[@id="testid"]')[0] #使用xpath定位一个节点
>>> s

>>> s2 = etree.tostring(s) #还原这个对象为html字符串
>>> s2
'
\n\t\t

ÕâÀïÊǸöС±êÌâ

\n\t\t
    \n\t\t\t
  1. 1
  2. \n\t\t\t
  3. 2
  4. \n\t\t\t
  5. 3
  6. \n\t\t
\n\t\t
    \n\t\t\t
  • 84
  • \n\t\t\t
  • 104
  • \n\t\t\t
  • 223
  • \n\t\t
\n\t
\n\t'

选取一个属性中的多个值

举例:
选择这个div的方案网上有说用and的,但是似乎只能针对不同的属性的单个值 本次使用contains >>.xpath('div[contains(@class,"mp-city-list-container mp-privince-city")]') >>当然也可以直接选取其属性的第二个值 >>.xpath('div[contains(@class,"mp-privince-city")]') >>重点是class需要添加一个@符号 本次验证否定了网上的and,使用了contains,验证环境在scrapy的response.xpath下

说明一点,xpath虽快,但是使用时尽量使用简洁高效的方式,本文旨在定位那些较难的地方使用,刻意追求晦涩难懂的技巧会影响其效率,并不可取。

参考:https://www.jianshu.com/p/1575db75670f
https://blog.csdn.net/DaxiaLeeSuper/article/details/79347838
https://blog.csdn.net/legendary_Dragon/article/details/84790953
https://blog.csdn.net/weixin_33929309/article/details/92413514

你可能感兴趣的:(爬虫)