Python爬虫——解析_xpath的基本使用
- 安装lxml库
pip install lxml -i https://mirrors.tuna.tsinghua.edu.cn/
- 导入lxml.etree
from lxml import etree
- 解析本地文件 etree.parse()
tree = etree.parse('xx.html')
- 服务器响应文件 etree.HTML()
tree = etree.HTML(response.read().decode('utf-8'))
- 基本语法
tree.xpath('xpath路径')
先写一个本地的HTML文件
DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8"/>
<title>Titletitle>
head>
<body>
<ul>
<li id="l1" class="c1">北京li>
<li id="l2">上海li>
<li id="c3">天津li>
<li id="c4">重庆li>
ul>
body>
html>
- 路径查询
//：查找所有子孙节点，不考虑层级关系
/：查找直接子节点
# 查找ul下面的li
li_list = tree.xpath('//ul/li')
print(li_list)
- 内容查询
//div/h1/text()
li_list = tree.xpath('//ul/li/text()')
print(li_list)
- 谓词查询
//div[@id]
//div[@id=“maincontent”]
# 查找所有有id的属性的li标签
# text()获取标签中的内容
li_list1 = tree.xpath('//ul/li[@id]/text()')
print(li_list1)
# 找到id为l1的li标签 注意引号问题
li_list2 = tree.xpath('//ul/li[@id="l1"]/text()')
print(li_list2)
- 属性查询
//@class
# 查找到id为l1的li标签的class的属性值
li = tree.xpath('//ul/li[@id="l1"]/@class/text()')
print(li)
- 模糊查询
//div[contains(@id, “he”)]
//div[starts-with(@id, “he”)]
# 查询id中带l的li标签
li_list3 = tree.xpath('//ul/li[contains(@id, "l")]/text()')
print(li_list3)
# 查询id的值以c开头的li标签
li_list4 = tree.xpath('//ul/li[starts-with(@id, "c")]/text()')
print(li_list4)
- 逻辑运算
//div[@id=“head” and @class=“s_down”]
//title | //price
# 查询id为l1和class为c1的数据
li_list5 = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()')
print(li_list5)
# 查询id为l1或者为l2的数据 只能通过标签操作，而不允许属性操作
li_list6 = tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="l2"]/text()')
print(li_list6)