python网络爬虫-二度进阶篇·Xpath与lxml

1.XPath 语法

1.选取节点

路径表达式	描述
/div/a	从根节点开始选取div节点下的a节点
/div/a[2]/img	从根节点开始选取div节点下的第二给a节点下的img节点
//div[@class='header-wrapper'	选取所有属性class的值为header-warpper的div节点
//*	选取文档中所有元素
//@*	选取文档中所有带属性的元素

2.谓语

查找特定的节点或者包含某个指定值的节点，会被嵌在方括号中。

路径表达式	描述
/div/p/text()	选取p节点的文本内容
/div[contains(@class,"post")]	选取带有class属性且包含"post"的所有div节点，取反//div[not(contains(@class,"post"))]
//div/p[last()-1]	选取div下倒数第二个p节点
//div/p[position()>1]	选取div下第二个p节点后的所有兄弟节点

 参考网页（菜鸟教程）：XPath 语法 | 菜鸟教程 (runoob.com)

2.lxml 库

支持XPath，通常用于定位特定的元素及节点信息。

1.解析 HTML 代码块:

from lxml import etree
html_data = '''

  

       
first item
       
second item
       
third item
       
fourth item
       
fifth item
   

'''
html = etree.HTML(html_data)
#构建出完整的html文档，会自动对html补全
print(etree.tostring(html).decode())
#返回element节点树，是类。
print(type(html))

输出结果：略 ；

2.联动Xpath选择器：（html代码中内容同上）

1.使用//返回一个列表

from lxml import etree
html_data = '''
balabalabala
'''
html = etree.HTML(html_data)
result = html.xpath("//li/a/text()")
print(result)

输出结果：['first item', 'second item', 'fourth item', 'fifth item'] 

2.获得元素的属性值

result = html.xpath("//li/@class")

输出结果：['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0'] 

3.根据属性值获取元素内容

result = html.xpath("//li/a[@href='link1.html']/text()")

输出结果：['first item']

4.//返回所有匹配的

result1 = html.xpath("//li//span/text()")

输出结果：['third item']

result2 = html.xpath("//li[last()]/a/@href")

输出结果：['link5.html']

3.lxml综合练习

范例网址：机械工业出版社产品详情

import requests
from lxml import etree

def handle_detail_xpath(content):
    html = etree.HTML(content)
    all_book = html.xpath("//div[@class='detailrightnewbook']")
    for item in all_book:
        print({
            "title":item.xpath("//p[@class='detailbooktitle']/text()")[0],
            "author": item.xpath("//p[@class='detailbooktitleone']/text()")[0],
            "ISBN": item.xpath("//p[@class='detailbooktitleone']/text()")[1],
            "price":item.xpath("//p[@class='detailbooktitleone']/text()")[2],
        })
def main():
    header = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
    }
    for i in range(332624,332628):#搜索范围
        url = "http://www.cmpbook.com/products/detail?id={}".format(i)
        response = requests.get(url=url,headers=header)
        handle_detail_xpath(response.text)

if __name__ == '__main__':
    main()

 4.综合练习2

from lxml import etree

content = """

 
 
  

   

    

     
      

       Python 后端工程师
       沈阳·和平区·五里河
      
     

      10-15K
       

        
3-5年
        
        
        
本科
       
       

         孙女士
        销售总监
       
      立即沟通
      
     
     
     

      

       
      
      

       
云腾网络
        
       

        
互联网
        
        
20-99人
       
      
     
    
    

     

      
PyTorch
      
Docker
      
PostgreSQL
      
MySQL
      
机器学习经验
      
有前端经验/技能
      
Python
      
Flask
     
     

    
   

    

     
      

       Python
       沈阳·沈北新区·虎石台
      
     

      3-8K
       

        
1-3年
        
        
        
本科
       
       

         李先生
        招聘者
       
      立即沟通
      
     
     
     

      

       
      
      

       
联港科技
        
       

        
计算机软件
        
不需要融资
        
0-20人
       
      
     
    
    

     

      
运维开发
      
Python
     
     

    
   

    

     
      

       Python
       沈阳·铁西区·铁西广场
      
     

      7-10K
       

        
1-3年
        
        
        
本科
       
       

         王先生
        人事
       
      立即沟通
      
     
     
     

      

       
      
      

       
小样传媒
        
       

        
互联网
        
不需要融资
        
500-999人
       
      
     
    
    

     

      
Python
      
JavaScript
      
CSS
      
HTML
      
网络编程
      
Web端
      
Redis
      
NoSQL
     
     

      五险一金，包吃，节日福利，员工旅游，餐补，定期体检，带薪年假
     
    
   

    

     
      

       Python
       沈阳·和平区·太原街
      
     

      5-10K
       

        
1-3年
        
        
        
学历不限
       
       

         苏先生
        经理
       
      立即沟通
      
     
     
     

      

       
      
      

       
奉孝科技
        
       

        
游戏
        
未融资
        
0-20人
       
      
     
    
    

     

      
Python
      
PHP
      
爬虫工程师
      
分布式技术
      
网络爬虫技术
     
     

      加班补助，通讯补贴，年终奖，节日福利，员工旅游，交通补助，全勤奖，带薪年假，零食下午茶，五险一金
     
    
   

    

     
      

       Python程序员
       沈阳·沈河区·一经
      
     

      4-8K·13薪
       

        
经验不限
        
        
        
本科
       
       

         赖女士
        人事
       
      立即沟通