Python爬虫——解析_xpath的基本使用

  • 安装lxml库
pip install lxml -i https://mirrors.tuna.tsinghua.edu.cn/
  • 导入lxml.etree
from lxml import etree
  • 解析本地文件 etree.parse()
tree = etree.parse('xx.html')
  • 服务器响应文件 etree.HTML()
tree = etree.HTML(response.read().decode('utf-8'))
  • 基本语法
tree.xpath('xpath路径')

先写一个本地的HTML文件

DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8"/>
    <title>Titletitle>
head>
<body>
    <ul>
        <li id="l1" class="c1">北京li>
        <li id="l2">上海li>
        <li id="c3">天津li>
        <li id="c4">重庆li>
    ul>
body>
html>
  1. 路径查询
    //:查找所有子孙节点,不考虑层级关系
    /:查找直接子节点
# 查找ul下面的li
li_list = tree.xpath('//ul/li')
print(li_list)
  1. 内容查询
    //div/h1/text()
li_list = tree.xpath('//ul/li/text()')
print(li_list)
  1. 谓词查询
    //div[@id]
    //div[@id=“maincontent”]
# 查找所有有id的属性的li标签
# text()获取标签中的内容
li_list1 = tree.xpath('//ul/li[@id]/text()')
print(li_list1)

# 找到id为l1的li标签  注意引号问题
li_list2 = tree.xpath('//ul/li[@id="l1"]/text()')
print(li_list2)
  1. 属性查询
    //@class
# 查找到id为l1的li标签的class的属性值
li = tree.xpath('//ul/li[@id="l1"]/@class/text()')
print(li)
  1. 模糊查询
    //div[contains(@id, “he”)]
    //div[starts-with(@id, “he”)]
# 查询id中带l的li标签
li_list3 = tree.xpath('//ul/li[contains(@id, "l")]/text()')
print(li_list3)

# 查询id的值以c开头的li标签
li_list4 = tree.xpath('//ul/li[starts-with(@id, "c")]/text()')
print(li_list4)
  1. 逻辑运算
    //div[@id=“head” and @class=“s_down”]
    //title | //price
# 查询id为l1和class为c1的数据
li_list5 = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()')
print(li_list5)

# 查询id为l1或者为l2的数据   只能通过标签操作,而不允许属性操作
li_list6 = tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="l2"]/text()')
print(li_list6)

你可能感兴趣的:(Python爬虫,python,爬虫)