【爬虫】4.2 Scrapy 中查找 html 元素

目录

Xpath简介

1. Scrapy 的 Xpath 简介

（1）使用xpath查找HTML中的元素

2. Xpath 查找 html 元素

（2）"//"与"/"的使用

（3）使用"."进行Xpath连续调用

（4）extract与extract_first函数使用

（5）获取元素属性值

（6）获取节点的文本值

（7）多个文本节点值

（8）使用condition限定tag元素

（9）使用position()序号来确定所选择的元素

（10）使用"*"代表任何element元素,不包括Text、Comment的结点

（11）使用@*代表属性

（12）Xpath搜索元素的父结点

（13）搜索后面的兄弟结点

（14）搜索前面的兄弟结点

---

Xpath简介

• XPath是一门在XML和HTML文档中查找信息的语言，通 过路径表达式从XML文档中选取节点或节点位置，可以用 来在XML和HTML文档中对元素和属性进行遍历。
• Xpath节点类型：元素、属性、文本、命名空间、指令处理、注释及文档
• xpath定位方式（路径表达式+索引+属性）
• 格式：/node1/node2/node3[1]/node4[@attribute[="value“]]
• xpath的索引值从1开始

Xpath 常用表达式

表达式	描述	例子
nodename	选取此节点	例： body ，选取 body 元素
/	绝对路径 , 表示当前节点的下一级节点元素。	例： /body ，当前节点下一级的 body 元素， 默认当前节点选取根元素
//	相对路径，全文档查找；	例： //title ，全文档搜索 title 元素 body//title,在 body 元素后代中搜索所有 title 元素。
.	当前节点	例： .//title ，在当前节点后代中搜索所有 title元素
@	选取属性	//node[@attribute] ，例包含 attribute 属性的节点node 。
*	通配符	/* ，绝对路径匹配任意节点， //* ，全文匹 配任意节点，@* ，匹配任意属性

Xpath 特有的Selector对象函数/方法

函数/方法	功能描述
extract()	获取对象的元素文本的列表
extract_first()	获取对象的元素文本的列表的第一个元素
"/@attrName"	/@attrName" 获取元素的属性节点对象，用extract() 获取属性值
"/text()"	获取元素的文本节点对象，用 extract() 获取文本值
"/tag[condition]"	获取符合限定条件的元素对象，其中 condition 是由这个 tag 的属性、 文本等计算出的一个逻辑值。多个限定条件如下： "tag[condition1][condition2]...[conditionN]" 或者： "tag[condition1 and condition2 and ... and conditionN]"
position()	限定某元素对象，从 1 开始。可通过 and 、 or 等构造复杂的表达式
"element/parent::*"	获取元素的父亲节点对象
" element/folllowing-sibling::*"	所有后序同级兄弟节点
“element/preceding-sibling::*“	所有前序同级兄弟节点

1. Scrapy 的 Xpath 简介

（1）使用xpath查找HTML中的元素

# 使用Xpath查找HTML中的元素
from scrapy.selector import Selector

htmlText = '''


    
        
        29.99
    
    
        
        39.95
    


'''
selector = Selector(text=htmlText)
print(type(selector))  # 
print(selector)  # 
s = selector.xpath("//title")  # 全文查找title  形成一个Selector的列表
print(type(s))  # 
print(s)  # [, ]

from scrapy.selector import Selector

从 scrapy 中引入 Selector 类，这个类就是选择查找类。

selector=Selector(text=htmlText)

使用 htmlText 的文字建立 Selector类，就是装载 HTML 文档，文档装载后就形成一个   Selector对象，就可以使用 xpath 查找元素。

print(type(selector)

可看到 selector 是一个类型为 scrapy.selector.unified.Selector，这个类型是一个有 xpath 方法的类 型。

s=selector.xpath("//title")

这个方法在文档中查找 所有 的 '>，

另外一个是 。

由此可见一般 selector 搜索一个 的 HTML 元素的方法是：

selector.xpath("//tagName")

在装载 HTML 文档后 selector=Selector(text=htmlText)得到的 selector 是对应全文档顶层的元素 的，其中 "//" 表示全文档搜索，结果是一个 Selector 的列表，哪怕只有一个元素也成一个列表，例如：

• selector.xpath("//body") 搜索到元素，结果是一个Selector的列表，包含一个Selector元素；
•  selector.xpath("//title")搜索到两个 29.99 39.95 ''' selector = Selector(text=htmlText) print(type(selector)) print(selector) print("====================s1====================") s1 = selector.xpath("//bookstore/book") # 搜索下一级的元素，找到2个 print(type(s1)) print(s1) print("====================s2====================") s2 = selector.xpath("//body/book") # 搜索下一级的元素，结果为空 print(type(s2)) print(s2) print("====================s3====================") s3 = selector.xpath("//body//book") # 搜索下元素，找到2个 print(type(s3)) print(s3) print("====================s4====================") s4 = selector.xpath("/body//book") # 搜索文档下一级的下的元素，结果为空，∵文档的下一级是元素，不是元素 print(type(s4)) print(s4) print("====================s5====================") s5 = selector.xpath("/html/body//book") # 或 s5 = selector.xpath("/html//book") # 搜索元素，找到2个 print(type(s5)) print(s5) print("====================s6====================") s6 = selector.xpath("//book/title") # 搜索文档中所有下一级的'>, ]
  ====================s7====================
  
  [, ]

  （3）使用"."进行Xpath连续调用

          使用 “.” 表示当前结点元素，使用 Xpath 可以连续调用，如果前一个 Xpath 返回一个 Selector 的列表，那么这个列表可以继续调用 Xpath 

          功能：为了每个列表元素调用 Xpath ，最后结果是全部元素调用 Xpath 的汇总

  # 使用"."进行Xpath连续调用
  from scrapy.selector import Selector
  
  htmlText = '''
  
  
      
      
          
          
          29.99
      
      
          
          
          39.95
      
  
  
  '''
  selector = Selector(text=htmlText)
  s = selector.xpath("//book").xpath("./title")
  # s = selector.xpath("//book").xpath("/title")  # 结果是空的，因为后面的 xpath("/title")从文档开始搜索'>
   
   
   
   
     
    
           selector.xpath("//book") 首先搜索到文档中所有  元素，总共有2 个，然后再次调用 xpath("./title") ，就是从当前元素  开始往下一级搜索
          29.99
      
      
          
          39.95
      
  
  
  '''
  selector = Selector(text=htmlText)
  s = selector.xpath("//book/price")
  print(type(s), s)
  s = selector.xpath("//book/price").extract()
  print(type(s), s)
  s = selector.xpath("//book/price").extract_first()
  print(type(s), s)
  

  运行结果：

  [, ]
  ['29.99', '39.95']
  29.99

由此可见:

s=selector.xpath("//book/price") 得到的是SelectorList列表；

s=selector.xpath("//book/price").extract() 得到的是元素的Selector对象对 应的元素的文本组成的列表，即：

['29.99', '39.95']

s=selector.xpath("//book/price").extrac_first() 得到的是元素的文本组成的列表的第一个元素，是一个文本，即： 29.99

（5）获取元素属性值

        xpath使用 "/@attrName " 得到一个 Selector 元素的 attrName 属性 节点对象，属性节点对象也是一个Selector 对象，通过 extract() 获取属性值。

# 获取元素属性值
from scrapy.selector import Selector

htmlText = '''


    
        
        29.99
    
    
        
        39.95
    


'''
selector = Selector(text=htmlText)
s = selector.xpath("//book").xpath("./@id")
print(s)  # [, ]
print(s.extract())  # ['b1', 'b2']
for e in s:
    print(e.extract())  # b1 \n  b2

运行结果：

[, ]
['b1', 'b2']
b1
b2

由此可见：

s=selector.xpath("//book/@id")

结果是 2 个 的 id 属性组成的 SelectorList 列表， 即属性也是一个 Selector 对象 ；

print(s.extract()) 结果是 的 id 属性的两个 Selector 对象的属性文本值的列表，即['b1', 'b2'] ；

for e in s:

      print(e.extract())

每个 e 是一个 Selector 对象，因此 extract() 获取对象的属性值。

（6）获取节点的文本值

        xpath使用 "/text()" 得到一个 Selector 元素包含的 文本值 ，文本值节点对象也是一个Selector 对象，通过 extract() 获取文本值。

# 获取节点的文本值
from scrapy.selector import Selector

htmlText = '''


    
        
        29.99
    
    
        
        39.95
    


'''
selector = Selector(text=htmlText)
s = selector.xpath("//book/title/text()")
print(s)
print(s.extract())  # ['Harry Potter', '学习 XML']
for e in s:
    print(e.extract())  # Harry Potter  \n  学习 XML

运行结果：

[, ]
['Harry Potter', '学习 XML']
Harry Potter
学习 XML

由此可见：

s=selector.xpath("//book/title/text()") 结果也是 SelectorList 列表，即文本也是一个节点 ；

print(s.extract()) 结果是文本节点的字符串值的列表，即['Harry Potter', ' 学习 XML'] ；

for e in s:

     print(e.extract())

每个 e 是一个 Selector 对象，因此 extract() 获取对象的属性值。 值得注意 的是如果一个 element 的元素包含的文本不是单一的文本，那么可能会 产生多个文本值。

（7）多个文本节点值

# 多个文本节点值
from scrapy.selector import Selector

htmlText = '''


    
        
        29.99
    


'''
selector = Selector(text=htmlText)
s = selector.xpath("//book/title/text()")
print(s)
print(s.extract())  # ['ary ', 'otter']
for e in s:
    print(e.extract())

运行结果：

[, ]
['ary ', 'otter']
ary 
otter

由此可见 29.99 39.95 ''' selector = Selector(text=htmlText) s = selector.xpath("//book/title[@lang='chinese']/text()") print(s.extract_first()) # 学习 XML s = selector.xpath("//book[@id='b1']/title") print(s.extract_first()) #

运行结果：

学习 XML

由此可见：

s=selector.xpath("//book/title[@lang='chinese']/text()")

搜索 下面属性 lang="chinese" 的 29.99 39.95 ''' selector = Selector(text=htmlText) s = selector.xpath("//book[position()=1]/title") # 选择第一个元素下的title print(s.extract_first()) # s = selector.xpath("//book[position()=2]/title") # 选择第二个元素下的title print(s.extract_first()) #

运行结果：

（10）使用"*"代表任何element元素,不包括Text、Comment的结点

        xpath使用星号  "*"  代表任何 Element 节点， 不包括 Text 、 Comment 的节 点。

# 使用"*"代表任何element元素,不包括Text、Comment的结点
from scrapy.selector import Selector

htmlText = '''


    
        
        29.99
    
    
        
        39.95
    


'''
selector = Selector(text=htmlText)
s = selector.xpath("//bookstore/*/title")
print(s.extract())  # ['', '']

运行结果：

['', '']

        其中 s=selector.xpath("//bookstore/*/title")是搜索的孙子节点 29.99 39.95 ''' selector = Selector(text=htmlText) s = selector.xpath("//book[@*]/title") # 搜索任何包含属性的元素下面的'] s = selector.xpath("//@*") # 搜索文档中所有属性结点 print(s.extract()) # ['english', 'b2', 'chinese']

运行结果：

['']
['english', 'b2', 'chinese']

        其中： s=selector.xpath("//book[@*]/title") 是搜索任何 包含属性的 元素下面 的 29.99 39.95 ''' selector = Selector(text=htmlText) s = selector.xpath("//title[@lang='chinese']/parent::*") # 等价 /parent::book print(s.extract()) # ['\n \n 39.95\n ']

运行结果：

['\n        \n        39.95\n    ']

        其中 s=selector.xpath("//title[@lang='chinese']/parent::*")是查找属性为 lang='chinese'的