详细分析Python爬虫中的xpath（附Demo）

前言

关于爬虫的基本知识推荐阅读：Python爬虫从入门到应用（超全讲解）

该知识点需要提前安装相关依赖：pip install lxml

1. 基本知识

XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言

在XML文档中通过路径表达式（path expression）来定位节点，这些路径描述了节点在层次结构中的位置

一、节点：

在XML文档中，所有的内容都以节点的形式存在

主要有两种类型的节点：

• 元素节点（Element Nodes）：代表XML文档中的元素，比如 、 J.K. Rowling 2005 29.99 William Strunk Jr. 1999 9.95 ''' # 创建Element对象 root = etree.fromstring(xml_str)

  以下为方法示例：

  # xpath() 方法示例
  titles = root.xpath('//title/text()')
  print("Titles:")
  for title in titles:
      print(title)
  

  截图如下：

  

  text属性 输出：First Book Title: Harry Potter

  # text 属性示例
  first_book_title = root.xpath('/bookstore/book[1]/title')[0].text
  print("\nFirst Book Title:", first_book_title)
  

  attrib属性 输出：First Book Category: Fiction

  # attrib 属性示例
  first_book_category = root.xpath('/bookstore/book[1]/@category')[0]
  print("\nFirst Book Category:", first_book_category)
  

  find方法 输出：First Non-Fiction Book Title: The Elements of Style

  # find() 方法示例
  first_non_fiction_book_title = root.find('.//book[@category="Non-Fiction"]/title')
  print("\nFirst Non-Fiction Book Title:", first_non_fiction_book_title.text)
  

  findall方法

  # findall() 方法示例
  all_authors = root.findall('.//author')
  print("\nAll Authors:")
  for author in all_authors:
      print(author.text)
  

  截图如下：

  

  3. 简易Demo

  根据以上的API以及输出结果，可稍微了解一些知识

  以下为简单的XML示例来演示XPath的使用

  还是刚刚那个xml文档，不过弄成文件放置

  from lxml import etree
  
  def main():
      # 读取XML文件
      with open('books.xml', 'r') as file:
          xml_data = file.read()
  
      # 解析XML
      root = etree.fromstring(xml_data)
  
      # 使用XPath选择所有书籍的标题
      titles = root.xpath('/bookstore/book/title/text()')
      print("书籍标题:")
      for title in titles:
          print(title)
  
      # 使用XPath选择所有语言为英语的书籍标题
      english_titles = root.xpath('/bookstore/book/title[@lang="en"]/text()')
      print("\n语言为英语的书籍标题:")
      for title in english_titles:
          print(title)
  
      # 使用XPath选择所有价格低于10美元的书籍标题
      cheap_titles = root.xpath('/bookstore/book[price < 10]/title/text()')
      print("\n价格低于10美元的书籍标题:")
      for title in cheap_titles:
          print(title)
  
  if __name__ == "__main__":
      main()
  

  截图如下：

  

  注意我在上述Demo中都用到etree.fromstring()，但在其他文章又看到etree.HTML()

  接下来阐述下这几个的差异：

  etree.HTML()	etree.parse()	etree.fromstring()
  解析HTML字符串，将传入的字符串解析为HTML文档，并构建相应的ElementTree对象	解析本地文件或可读文件对象中的XML或HTML文档	解析XML字符串，类似于etree.HTML()

  对于这几个函数的选择：

  • 本地的HTML文件，可以使用etree.parse()函数来解析
  • HTML字符串，可以使用etree.HTML()函数来解析
  • 对于XML字符串，可以使用etree.fromstring()函数

  再次举例一个html的例子：

  from lxml import etree
  
  html = '''
  
  
  
      
      
  
  
      
  
          
  
              
  欢迎来到我的网站
              
  
                  
  
                      
  首页
                      
  关于我们
                      
  联系我们
                  
              
          
          
  
              
  最新文章
              
  
                  
  文章标题1
                  
  文章内容1
              
              
  
                  
  文章标题2
                  
  文章内容2
              
          
          
  
              
  侧边栏
              
  
                  
  链接1
                  
  链接2
                  
  链接3
              
          
          
  
              
  版权所有 © 2024
          
      
  
  
  '''
  
  # 解析HTML
  root = etree.HTML(html)
  
  # 选择所有链接
  links = root.xpath('//a')
  print("所有链接:")
  for link in links:
      print("文本:", link.text)
      print("URL:", link.attrib['href'])
  
  # 查找侧边栏中的链接
  sidebar_links = root.xpath('//aside//li')
  print("\n侧边栏链接:")
  for link in sidebar_links:
      print("文本:", link.text)
  

  结果输出如下：