python爬虫之xpath和lxml解析内容
上两章说了urllib和request库如何访问一个页面或者接口，从而获取数据，如果是访问接口，还好说，毕竟返回的json还是很好解析的，他是结构化的，我们可以把它转化成字典来解析，但是如果返回的是xml或者html,就有点麻烦了，今天就主要说一下如果解析这些html内容的工具：xpath和lxml。
xpath
xpath是一个可以在xml和html来查找信息的语言。语法如下
| 表达式 | 描述 | 示例 | 结果 |
|---|---|---|---|
| nodename | 选取该节点下的所有子节点 | article | 获取article下的节点 |
| / | 如果是在最前面，代表从根节点选取。否则选择某节点下的某个节点 | /article | 获取article下节点的信息 |
| // | 从全局节点中选择节点，随便在哪个位置 | //div | 找到所有的节点 |
| @ | 选取某个节点的属性 | //div[@class] | 选取所有div的class的属性值 |
| . | 选取当前节点 | ./a | 选取当钱节点下的a标签 |
例如我们要获取我们csdn博客列表的内容，如下
//div[@class="article-list"]
//获取某一篇文章的简单信息
//div[@class="article-list"]/div[2]
lxml
lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。
安装lxml
pip install lxml
使用
我们打开我的csnd博客也列表,并且获取界面上展示的信息，例如截图下的信息
代码如下：
from lxml import etree
import requests
url = "https://blog.csdn.net/lovemenghaibin?t=1"
header = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
resp = requests.get(url, headers=header)
html = etree.HTML(resp.text)
blogs = html.xpath("//div[@class='article-list']/div[@class='article-item-box csdn-tracking-statistics']")
blogInfos = []
for first in blogs:
href_url = first.xpath("./h4/a/@href")[0]
content = first.xpath("./p[@class='content']/a/text()")[0]
createTime = first.xpath("//span[@class='date']/text()")[0]
readNumStr = first.xpath("//span[@class='read-num']/text()")[0]
readNum = readNumStr.replace("阅读数：", "")
commentStr = first.xpath("//span[@class='read-num']/text()")[1]
commentCount = readNumStr.replace("评论数：", "")
blogInfo = {
"url": href_url,
"content": content,
"createTime": createTime,
"readNum": readNum,
"commentCount": commentCount
}
blogInfos.append(blogInfo)
print(blogInfos)
如果要获取博客的博主信息，则代码如下：
from lxml import etree
import requests
url = "https://blog.csdn.net/lovemenghaibin?t=1"
header = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
resp = requests.get(url, headers=header)
html = etree.HTML(resp.text)
profile = html.xpath("//div[@id='asideProfile']")[0]
meUrl = profile.xpath("./div[1]/div[1]/a/@href")[0]
userName = profile.xpath("./div[1]/div[2]//a/text()")[0]
blogNum = profile.xpath("./div[2]/dl[1]/dd/a/span/text()")[0]
fans = profile.xpath("./div[2]/dl[2]/dd/span/text()")[0]
attentions = profile.xpath("./div[2]/dl[3]/dd/span/text()")[0]
comments = profile.xpath("./div[2]/dl[4]/dd/span/text()")[0]
blogLeve = profile.xpath("./div[3]/dl[1]/dd/a/@title")[0]
readCount = profile.xpath("./div[3]/dl[2]/dd/text()")[0].strip()
pointCount = profile.xpath("./div[3]/dl[3]/dd/text()")[0].strip()
rank = profile.xpath("./div[3]/dl[4]/dd/text()")[0]
profileInfo = {
"homeUrl": meUrl,
"userName": userName,
"blogNum": blogNum,
"fans": fans,
"attentions": attentions,
"comments": comments,
"blogLeve": blogLeve,
"readCount": readCount,
"pointCount": pointCount,
"rank": rank
}
print(profileInfo)
小结
本章介绍了xpath和lxml两个工具，运用比较高效，速度快，学起来语法也比较简单，我们可以直接根据类名查找，也可以根据获取属性的值，例如获取a标签的href属性，也可以获取内部的文本，例如text()语法，查找的话，类似于java解析xml的工具。当然操作xpath的时候一定要在浏览器上安装xpath插件。自己先写一下。