xpath使用

应用场景:

选取HTML中特定节点,以期获取特定的文本值!对于小编来说,多用于爬虫制作过程中需要页面解析的部分
注:xpath本身功能非常强大,但对于一个爬虫来说,主要的就是定位节点和获取属性或文本值这些基础功能,而小编在接下来的讲解中也只涉及这些内容@_@)

简单介绍:

在w3school介绍中,xpath是在xml中进行导航的工具,凭借的就是xml的这种非常结构化的结构,所以在HTML中也是可以用xpath进行元素节点的获取!

---

使用之前需要做什么:

分两类:

1. 对xpath进行原生支持的工具,则只要会xpath表达式就行:

如Python中导入selenium模块,初始化得到一个driver对象后,凭借其本身方法就行:

driver.find_element_by_xpath("xpath表达式")

2. 其余的日常使用:

结合lxml模块(小编用的是Python语言)

from lxml import html

html_text = """







xpath笔记-爬虫篇




"""
tree = html.fromstring(html_text)  # 将html_text这个HTML文件转换成一个'树'结构,存入tree中
target = tree.xpath("//body/div/p/text()")[0]  # 获取html_text这个html文件中的p标签的文本内容'xpath笔记-爬虫篇'

---

xpath表达式语法:

1. 基本概念和语法:

我不想照抄其他人的文本和概念,所以,详情请参考:
http://www.w3school.com.cn/xpath/xpath_nodes.asp

2. 对谓语, 步, 和轴的理解

• 什么是谓语?
  谓语是对主语的动作或状态的陈述或者说明.具体到这里,就是对选择的节点要进一步做什么来进行说明,说白了就是判断的条件!需要注意的是,谓语必须在中括号[] 里面

tree.xpath("//div[3]")  ## 选取整个html文档中遇到的第三个div(上面的示例中没有)

• 什么是步?
  在xpath中两个正斜杠"/"之间就可以认为是一'步',可以这样想:从html这个节点,深入一"步",到下一个div节点 @_@
• 什么是轴?
  首先需要说明的是,轴是包含在步里面的
  轴就是从选定的某个节点开始,拓展节点选择的范围,轴就是节点的一个范围,也就是w3school中说的节点集,举个例子:

tree.xpath("//html/div[1]")  # 第一句
tree.xpath("//html/div[1]/child::p")  # 第二句

上面代码中,第一句的代码只是选择到html中遇到的第一个div;
而第二句中,就多了一个轴,叫child,代表上个节点的所有子节点,所以就选择的是第一个div所有子元素中的标签名为p的节点(看,这个节点的范围是不是被"拓展"了,虽然不知道这个p标签在现实情况中有多少个,但在逻辑上是"很多个", >_<)

具体应用中需要多注意的事项:

1. 通过lxml"格式化"html文档后,进行xpath选择,不管有没有选择到元素,所得到的都是一个列表(哪怕选择的就直接是标签内的文本值,返回的都是列表)
2. 如果选择的是标签,返回的列表就是标签所对应的地址对象;如果是文本(如标签内的值,或属性值),返回的就是文本值的列表
3. 除非很有把握,不然就多try......except IndexError.......

具体应用中需要多注意的技巧:

1. chrome浏览器中有一个扩展,叫Xpath Helper,能很好的进行xpath语法校验,并高亮标记被选的标签(前提是语法正确并确实有这个元素)
2. nodename//*/text(),获取nodename节点下所有节点的文本内容,不管深度
3. nodename[text()='特定文本'],选取节点文本内容是"特定文本"的所有nodename节点
4. nodename/following-sibling::div[1], 选取nodename后面的同级节点中的第一个div标签
5. 在浏览器或者插件中行的通的xpath表达式不一定在爬虫行的通(一般来说是都可行的,但是小编也遇到过这种行不通的),这个时候,建议下载需要爬取的页面html文件,仔细的确定下html文档结构,再构建xpath表达式(有很多html文件结构是很杂乱的,而浏览器是可以'修饰'HTML文件的)

---

相关文档

• w3school中xpath教程:http://www.w3school.com.cn/xpath/xpath_intro.asp
• xpath中lxml官方文档: https://pythonguidecn.readthedocs.io/zh/latest/scenarios/scrape.html#id1