lxml模块的学习

1. lxml的认识

在前面学习了xpath的语法，那么在代码中我们如何使用xpath呢，对应的我们需要lxm
博文链接：xpath和lxml类库
安装方式：

pip install lxml

2. lxml的使用

1.导入lxml 的 etree 库 (导入没有提示不代表不能用)

from lxml import etree

2.利用etree.HTML，将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表，能够接受bytes类型的数据和str类型的数据

html = etree.HTML(text) 
ret_list = html.xpath("xpath字符串")

3.注意事项：

• lxml会自动修正html或xml, 修正后可能与原来的格式就不一样了, 如果你匹配的时候,总是得不到想要结果,就把修正后的内容打印出来
  4.把转化后的element对象转化为字符串，返回bytes类型结果 etree.tostring(element)
  假设我们现有如下的html字符换，尝试对他进行操作

 
 
first item
 
second item
 
third item
 
fourth item
 
fifth item # 注意，此处缺少一个 
 闭合标签 
 

from lxml import etree
text = ''' 
 
 
        
first item
 
        
second item
 
        
third item
 
        
fourth item
 
        
fifth item 
        
 
 '''

html = etree.HTML(text)
print(type(html)) 

handeled_html_str = etree.tostring(html).decode()
print(handeled_html_str)

输出为：

 
 
        
first item
 
        
second item
 
        
third item
 
        
fourth item
 
        
fifth item 
        
 
 
        ```
   可以发现，lxml确实能够把确实的标签补充完成，但是请注意**lxml是人写的，很多时候由于网页不够规范，或者是lxml的bug，即使参考url地址对应的响应去提取数据，任然获取不到，这个时候需要使用etree.tostring的方法，观察etree到底把html转化成了什么样子，即根据转化后的html字符串去进行数据的提取**

2.2lxml的深入练习

接下来继续操作，假设每个class为item-1的li标签是1条新闻数据，如何把这条新闻数据组成一个字典

from lxml import etree
text = ''' 
 
 
      
first item
 
      
second item
 
      
third item
 
      
fourth item
 
      
fifth item 
      
 
 '''

html = etree.HTML(text)

#获取href的列表和title的列表
href_list = html.xpath("//li[@class='item-1']/a/@href")
title_list = html.xpath("//li[@class='item-1']/a/text()")

#组装成字典
for href in href_list:
  item = {}
  item["href"] = href
  item["title"] = title_list[href_list.index(href)]
  print(item)

输出为

{'href': 'link1.html', 'title': 'first item'}
{'href': 'link2.html', 'title': 'second item'}
{'href': 'link4.html', 'title': 'fourth item'}

假设在某种情况下，某个新闻的href没有，那么会怎样呢？

from lxml import etree
text = ''' 
 
 
       
first item
 
       
second item
 
       
third item
 
       
fourth item
 
       
fifth item 
       
 
 

结果是

{'href': 'link2.html', 'title': 'first item'}
{'href': 'link4.html', 'title': 'second item'}

数据的对应全部错了，这不是我们想要的

2.3 lxml模块的进阶使用

前面我们取到属性，或者是文本的时候，返回字符串
但是如果我们取到的是一个节点，返回的是element对象，可以继续使用xpath方法，对此我们可以在后面的数据提取过程中：先根据某个标签进行分组，分组之后再进行数据的提取

示例如下：

from lxml import etree
text = ''' 
 
 
        
first item
 
        
second item
 
        
third item
 
        
fourth item
 
        
fifth item 
        
 
 '''

html = etree.HTML(text)

li_list = html.xpath("//li[@class='item-1']")
print(li_list)

结果为：

[, , ]

**可以发现结果是一个element对象，这个对象能够继续使用xpath方法

先根据li标签进行分组，之后再进行数据的提取**

from lxml import etree
text = ''' 
 
 
        
first item
 
        
second item
 
        
third item
 
        
fourth item
 
        
fifth item 
        
 
 '''

#根据li标签进行分组
html = etree.HTML(text)
li_list = html.xpath("//li[@class='item-1']")

#在每一组中继续进行数据的提取
for li in li_list:
    item = {}
    item["href"] = li.xpath("./a/@href")[0] if len(li.xpath("./a/@href"))>0 else None
    item["title"] = li.xpath("./a/text()")[0] if len(li.xpath("./a/text()"))>0 else None
    print(item)

结果是

{'href': None, 'title': 'first item'}
{'href': 'link2.html', 'title': 'second item'}
{'href': 'link4.html', 'title': 'fourth item'}

前面的代码中，进行数据提取需要判断，可能某些一面不存在数据的情况，对应的可以使用三元运算符来解决

以上提取数据的方式：先分组再提取，都会是进行数据的提取的主要方法