Spider基础之XPath

学习自刘大拿的Python课程

XPath

• 在XML文件中查找信息的一套规则/语言，根据XML的元素或者属性进行遍历
• http://www.w3school.com.cn/xpath/index.asp

XPath 开发工具

• 开源的XPath表达式编辑工具：XMLQuire
• Chrome插件：XPath Helper
• Firefox插件: XPath Checker

一个XML文件案例

   
       LiuDana
       18
       13260446055
   
    
        ZhangSan
        14
    
    
        LiSi
        19
        15578875040
    
   

选取节点

• nodename: 选取此节点的所有子节点
• /： 从根节点开始选取，标签名必须与根节点一致
• //: 选取节点，不考虑位置（选取的几个节点一般组成列表返回）
• . ：选取当前节点
• .. ：选取当前节点的父节点
• @:选取属性
• xpath中查找一般按照路径方法查找,以下为路径表示方法实例

School/Teacher:返回Teacher节点
School/Student: 返回两个Student节点
//Student:  选取所有Studetn的节点，不考虑位置
School//Age:选取School后代中所有Age节点
//@Other: 选取Other属性
//Age[@Detail]:  选取带有属性Detail的Age元素

谓语-Predicates

/School/Student[1]: 选取School下面的第一个Student节点
/School/Student[last()]: 选取School下面的最后一个Student节点
/School/Student[last()-1]: 选取School下面的倒数第二个Student节点
/School/Student[position()<3]: 选取School下面的前二个Student节点
//Student[@score]: 选取带有属性score的Student节点
//Student[@score=”99″]: 选取带有属性score并且属性值是99的Student节点
//Student[@score]/Age: 选取带有属性score的Student节点的子节点Age

其他

• *：匹配任何元素节点
• @*：匹配任何属性节点
• node（）：匹配任何类型的节点

/bookstore/*    选取 bookstore 元素的所有子元素。
//*     选取文档中的所有元素。
//title[@*]     选取所有带有属性的 title 元素。

|: 或者
//Student[@score] | //Teacher: 选取带有属性score的Student节点和Teahcer节点

XPath轴

• 位置路径表达式
  • 绝对路径

/step/step/...

• 相对路径

step/step/...

• Axis(轴)

轴名称	结果
ancestor	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素（子、孙等）。
descendant-or-self	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

• 步的语法
  轴名称::节点测试[谓语]

e.g.	结果
child::book	选取所有属于当前节点的子元素的 book 节点。
attribute::lang	选取当前节点的 lang 属性。
child::*	选取当前节点的所有子元素。
attribute::*	选取当前节点的所有属性。
child::text()	选取当前节点的所有文本子节点。
child::node()	选取当前节点的所有子节点。
descendant::book	选取当前节点的所有 book 后代。
ancestor::book	选择当前节点的所有 book 先辈。
ancestor-or-self::book	选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）
child::*/child::price	选取当前节点的所有 price 孙节点。

运算符

运算符	描述	实例	返回值
+	加法	6 + 4	10
-	减法	6 - 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等于	price=9.80	如果 price 是 9.80，则返回 true；如果 price 是 9.90，则返回 false。
!=	不等于	price!=9.80	如果 price 是 9.90，则返回 true；如果 price 是 9.80，则返回 false。
<	小于	price<9.80	如果 price 是 9.00，则返回 true；如果 price 是 9.90，则返回 false。
<=	小于或等于	price<=9.80	如果 price 是 9.00，则返回 true；如果 price 是 9.90，则返回 false。
>	大于	price>9.80	如果 price 是 9.90，则返回 true；如果 price 是 9.80，则返回 false。
>=	大于或等于	price>=9.80	如果 price 是 9.90，则返回 true；如果 price 是 9.70，则返回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，则返回 true；如果 price 是 9.50，则返回 false。
and	与	price>9.00 and price<9.90	如果 price 是 9.80，则返回 true；如果 price 是 8.50，则返回 false。
mod	计算除法的余数	5 mod 2	1