scrapy爬虫编写-常用xpath选择器和css选择器

编写scrapy爬虫,处理items相关元素数据,涉及到selector, 整理备查。

目录

一、常用xpath使用方法

二、css语法

三、xpath选择器整理

四、css选择器整理

 

一、常用xpath使用方法:


xpath常用语法

/:根节点

//xxx/zzz:路径

//div:去全局的子孙中找所有的div元素

.//表示去当前对象的子孙中找

/xxx//div:去儿子对象中找xxx节点下所有的div元素

*:匹配任意节点元素

/html/body/div[1]:选取body下的第一个div节点

//div[@class="xxx"]:选取class属性为xxx的div节点

//@attr:获取attr对应的值

常用函数

text():提取文本信息,//*[@class='xxx']/text()

position():选取第几个节点,//*[position()=1]

last():选取最后一个节点,//*[last()]

starts-with(@attr,substr):attr属性值开头substr的节点

contains(@attr,substr):attr属性值是否包含substr

运算符

|:计算两个节点集合,比如//div|//li

比较运算符=,!=,<=...,比如//price[text()>10]

算数运算符:+,-,*,div,比如//price[text()+1]

逻辑运算符:or,and,[@class='xxxx' or @class='yyyy']


xpath语法案例:以取a标签为案例,div、span等都相同

xpath('//a'):找到全局中所有的a标签

xpath('//a/text()  '):获取a标签的文本值

xpath('//a/span'):a标签对象儿子下的span标签

xpath('//a[2]'):a标签找到后,返回的是一个列表,[n]列表的n位置的值

xpath('//a[@id]'):找全局中属性为id的a标签

xpath('//a[@id="i1"]'):找全局中属性id为i1的a标签

xpath('//a/@id'):取a标签的id的属性值

xpath('//a[@href="link.html"][@id="i1"]'):两个[]代表双条件,需要href="link.html“,且id="i1"的a标签

xpath('//a[contains(@href, "link")]'):a标签的href需要包含"link"字符

xpath('//a[starts-with(@href, "link")]'):a标签的href需要以"link"开头

xpath('//a[re:test(@id, "i\d+")]'):正则表达式的写法,需要有re:test

xpath('//a[re:test(@id, "i\d+")]/@href').extract(),正则表达式的写法案例

xpath(.//)在当前基础上往下找,需要加“.”,比如用在for循环中

obj.extract()#列表中的每一个对象转化字符串==>返回一个列表

obj.extract_first() #列表中的每一个对象转化字符==>列表中的第一个元素

xpath('/html/body/ul/li/a/@href').extract():一层层去找标签
 

二、css语法

基本语法

.classvalue:选择class属性为classvalue的元素

#idvalue:选择id值为idvalue的元素

p:选择所有的p元素

div,p:选择所有的div和p元素

div~p:前面有div元素的每个p元素,div和p为兄弟节点

li span :选择li内部所有的span元素

div>p:选择父结点为div的所有p元素

::text/::attr(src):文本信息/提取某个属性的值,比如a::attr(href),提取超链接


属性的语法

[attr]选择所有带attr属性的元素

[attr=val]选择attr值为val的所有元素:[numvalue=num1]

[attr^=val]选择attr属性值以val开头的元素:[src^=http]

[attr$=val]选择attr属性值以val结尾的元素:[src^=.jpg]

[attr*=val]选择attr属性值包含val的元素:[src*=douban]


ele语法

ele:first-of-type:所有子元素为ele的第一个元素

ele:first-child:第一个元素为ele的元素

ele:only-of-type:类型为ele的元素

ele:only-child:唯一子元素的每个ele元素

ele:nth-of-type(n):选择第n个ele元素

ele:nth-child(n):第n个子元素为ele的元素

ele:last-child:最后一个为ele的子元素
 

三、xpath选择器整理

表达式 说明
article 选取所有article元素的所有子节点
/article 选取根元素article
article/a 选取所有属于article的子元素的a元素
//div 选取所有div子元素(不论出现在文档任何地方)
article//div 选取所有属于article元素的后代的div元素,不管它出现在article之下的任何位置
//@class 选取所有名为class的属性
/article/div[1] 选取属于article子元素的第一个div元素
/article/div[last()] 选取属于article子元素的最后一个div元素
/article/div[last()-1] 选取属于article子元素的倒数第二个div元素
//div[@lang] 选取所有拥有lang属性的div元素
//div[@lang='eng'] 选取所有lang属性为eng的div元素
/div/* 选取属于div元素的所有子节点
//* 选取所有元素
//div[@*] 选取所有带(任意)属性的div元素
/div/a | //div/p 选取所有div元素的a和p元素
//span | //ul 选取文档中的span和ul元素
article/div/p | //span 选取所有属于article元素的div元素的p元素以及文档中的所有span元素
//div[@id='1']/h1/text() 获取id为1的div标签下的h1标签里的内容
//span[not(@class)] 选择不包含class属性的span节点
//span[not(@class) and not(@id)] 选择不包含class和id属性的span节点
//span[not(contains(@class,'expire'))] 选择不包含class="expire"的span
//span[contains(@class,'expire')] 选择包含class="expire"的span
//h2[contains(text(),'Activated')] 选择标签内容里包含Activated的h2标签
//div[not(contains(text(),'activated'))] 选择标签内容中不包含activated的div标签

XPATH如何选择不包含某一个属性的节点

我们知道选择包含某一特定属性的节点,可以使用例如//tbody/tr[@class]来选择。那么不含某属性的节点如何用xpath取得呢?

这里可以用到not。例如排除一个属性的节点可以使用//tbody/tr[not(@class)]来写,排除一个或者两个属性可以使用//tbody/tr[not(@class or @id)]来选择。

 

四、css 选择器整理

表达式 说明
* 选择所有节点
# container 选择id为container的节点
.container 选取所有class 包含container的节点
li a 选取所有li下的所有a节点 (子节点)
ul + p 选择ul后面的第一个p元素(兄弟节点)
div#container > ul 选取id为container的div的第一个ul子元素
ul ~ p 选取与ul相邻的所有p元素
a[title] 选取所有有title属性的a元素
a[href="a.com"] 选取所有href属性为a.com值的a元素
a[href*="a"] 选取所有href属性包含a的a元素
a[href^="http"] 选取所有href属性值以http开头的a元素
a[href$=".jpg"] 选取所有href属性值以.jpg结尾的a元素
inupt[type=radio]:checked 选取状态为选中的radio元素
div:not(#container) 选取所有id不为container的div元素
li:nth-child(3) 选取第三个li元素
tr:nth-child(2n) 第偶数个tr元素

 

你可能感兴趣的:(python,scrapy,python,选择器)