xpath介绍
xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式。
使用xpath需要在你的python里面安装lxml，操作方式：pip install lxml
基本概念：
-
XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航。
-
xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能。
HTML树状结构图
HTML 的结构就是树形结构，HTML 是根节点，所有的其他元素节点都是从根节点发出的。其他的元素都是这棵树上的节点Node，每个节点还可能有属性和文本。而路径就是指某个节点到另一个节点的路线。 而我们使用xpath就是根据这些路线所确定的。
节点之间的关系：
父节点(Parent)： HTML 是 body 和 head 节点的父节点；
子节点(Child)：head 和 body 是 HTML 的子节点；
兄弟节点(Sibling)：拥有相同的父节点，head 和 body 就是兄弟节点。title 和 div 不是兄弟，因为他们不是同一个父节点。
祖先节点(Ancestor)：body 是 form 的祖先节点，爷爷辈及以上；
后代节点(Descendant)：form 是 HTML 的后代节点，孙子辈及以下。
Xpath中的绝对路径与相对路径：
Xpath 中的绝对路径从 HTML 根节点开始算，相对路径从任意节点开始。通过开发者工具，我们可以拷贝到 Xpath 的绝对路径和相对路径代码（以百度为例）：
我们通过下面的步骤就可以得到我们要找的元素的网页源代码：
找到对应图片的源码后我们右击选择：
我们就可以找到该内容的相对路径以及绝对路径了：
但是由于拷贝出来的代码缺乏灵活性，也不全然准确。大部分情况下，都需要自己定义 Xpath 语句，因此 Xpath 语法还是有必要学习。
绝对路径：
Xpath 中最直观的定位策略就是绝对路径。 以百度中的输入框和按钮为例，通过拷贝出来的 full Xpath：
/html/body/div[2]/div/div/div/div/form/span/input
这就是一个绝对路径我们可以看出，绝对路径是从根节点/html开始往下，一层层的表示 出来直到需要的节点为止。这明显不是理智的选项，因此了解以下即可，不用往心里去。
相对路径
除了绝对路径，Xpath 中更常用的方式是相对路径定位方法，以“//”开头（这个就相当于全局搜索）。 相对路径可以从任意节点开始，一般我们会选取一个可以唯一定位到的元素开始写，可以 增加查找的准确性。
相对路径定位语法：
基本定位语法：
| 表达式 | 说明 | 举例 |
|---|---|---|
| / | 从根节点开始选取 | /html/div/span |
| // | 从任意节点开始选取 | //input |
| . | 选取当前节点 | |
| .. | 选取当前节点的父节点 | //input/.. 会选取 input 的父节点 |
| @ | 选取属性或者根据属性选取 | //input[@data] 选取具备 data 属性的 input 元素 //@data 选取所有 data 属性 |
| * | 通配符，表示任意节点或任意属性 |
元素属性定位：
属性定位是通过 @ 符号指定需要使用的属性：
列如我们可以在这里看到很对div标签，比如我们需要找到id值为u1的div标签：
我们可以写成：//div[@id="u1"]，由于id不会重复，因此我们就可以直接找到id属性为u1的div标签的内容了。
使用谓语定位
谓语是 Xpath 中用于描述元素位置。主要有数字下标、最后一个子元素last()、元素下标函数position()。注意点：Xpath 中的下标从 1 开始。
1、使用下标的方式,从form找到input:
//form[@id="form"]/span[2]/input
2、查找最后一个子元素,选取form下的最后一个span:
//form[@id="form"]/span[last()]
3、查找倒数第几个子元素,选取 form下的倒数第二个span:
//form[@id="form"]/span[last()-1]
4、使用 position() 函数,选取 from 下第二个span:
//form[@id="form"]/span[position()=2]
5、使用 position() 函数,选取下标大于 2 的span:
//form[@id="form"]/span[position()>2]使用逻辑运算符定位
如果元素的某个属性无法精确定位到这个元素，我们还可以用逻辑运算符 and 连接多个属性进行定位，以百度输入框为例。
使用and:
//*[@name='wd' and @class='s_ipt']
查找 name 属性为 wd 并且 class 属性为 s_ipt 的任意元素
使用or:
//*[@name='wd' or @class='s_ipt']
查找 name 属性为 wd 或者 class 属性为 s_ipt 的任意元素，取其中之一满足即可。
使用|同时查找多个路径,取或：
//form[@id="form"]//span | //form[@id="form"]//input使用文本定位
我们在爬取网站使用Xpath提取数据的时候，最常使用的就是Xpath的text()方法，该方法可以提取当前元素的信息（我们以这个网站为例：https://www.biedoul.com/article/180839）：
我们现在要获取下面的内容：
我们可以观察到这些内容都在div标签（class属性为cc2）的文本里面，由此我们可以写出其xpath路径，下面是代码展示：
import requests
from lxml import etree # etree模块用来将网页源代码转化为xml语言
url = 'https://www.biedoul.com/article/180839'
headers= {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}
response = requests.get(url,headers=headers)
html = etree.HTML(response.text)
data = html.xpath('//div[@class="cc2"]//text()') # xpath的相对路径
print(data)
print(type(data))这样我们就将内容给输出出来了。
从这里面我们可以发现两点：
1. xpath返回的是一个列表，因此我们在做数据处理的时候需要考虑一下这个因素，根据你的需求做出对应的变化。
2. 我们可以看到我们的列表中有'\r\n'存在，但是我们在源代码中并没有发现这个东西，因此我们需要用到string(.)方法。
# -*- coding:utf-8 -*-
import requests
from lxml import etree
url = 'https://www.biedoul.com/article/180839'
headers= {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}
response = requests.get(url,headers=headers)
html = etree.HTML(response.text)
data = html.xpath('//div[@class="cc2"]//text()')
print(data)
print(type(data))
data1 = html.xpath('//div[@class="cc2"]')[0].xpath('string(.)')
print(data1)
这样它返回的数据就非常美观了。
使用部分匹配函数：
| 函数 | 说明 | 举例 |
|---|---|---|
| contains | 选取属性或者文本包含某些字符 | //div[contains(@id, 'data')] 选取 id 属性包含 data 的 div 元素 |
| starts-with | 选取属性或者文本以某些字符开头 | //div[starts-with(@id, 'data')] 选取 id 属性以 data 开头的 div 元素 |
lxml的基本使用：
# 导入模块
from lxml import etree
# html源代码
web_data = """
"""
# 将html转成xml文件
element = etree.HTML(web_data)
# print(element)
# 获取li标签下面的a标签的href
links = element.xpath('//ul/li/a/@href')
print(links)
# 获取li标签下面的a标签的文本数据
result = element.xpath('//ul/li/a/text()')
print(result)xpath实战：
# -*- coding:utf-8 -*-
import requests,json,os
from lxml import etree
# 爬取地址
url = 'https://movie.douban.com/top250?start=0&filter='
# 请求头
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
# 获取源代码
response = requests.get(url,headers=headers).text
# 使用xpath将源代码转化为xml
html = etree.HTML(response)
# 找到需要的数据xpath的位置
data_list = html.xpath('//*[@id="content"]/div/div[1]/ol[@class="grid_view"]//li')
# 数据解析，保存数据
for data in data_list:
data_dict = {}
title = data.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
actor = data.xpath('./div/div[2]/div[2]/p[1]/text()')[0].lstrip()
rate = data.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0] + ' 分'
data_dict['电影名'] = title
data_dict['演员'] = actor
data_dict['评分'] =rate
# print(data_dict)
content = json.dumps(data_dict,ensure_ascii=False)
with open('t250电影爬取','a',encoding='utf-8') as f:
f.write(content)
print(title + '获取成功')