使用Selector提取数据的方式介绍

@TOC

selector对象

Python中常用以下模块处理HTTP文本解析问题

• Beautifulsoup
• lxm

1.创建对象
创建对象时可以调用text参数

from scrapy.selector import Selector
text=’’’

’’’
selector=Selector(text=text)

或者使用一个response对象构造selector是response参数更方便

from     scrapy.selector import Selector
from scrapy.http import HtmlResponse
body=’’’
’’’
response=HtmlResponse(url=’url’,body=body,encoding=’utf8’)
selector=Selector(response=response) 

2.选中数据的方法有两类xpath函数和css函数，css函数的语法相对简单，然而css在调用时内部实际上还是会翻译成xpath，所以掌握xpath就好
3.可以用sel=Selector(response=response)来初始化一个选择器sel然后再使用sel.xpath(’’)，也可以直接使用response自带的选择函数response.xpath(’’)

使用简单情形介绍

• /：描述从根开始的绝对路径
• E1/E2：选中E1子节点中的所有E2
• //E：选中文档中的所有E，无论在什么位置（特别注意这个命令即便是你在前面限定了搜索范围，//会自动跳出你设置的范围而在全html代码（前提是你限制的类标签中）当中搜索，这给范围限制会带来麻烦，所以一般不轻易用//）
  举个例子：代码中有两块
  两块

  中分别有，你现在通过迭代循环的方法先选定了第一个

  ，你想提取仅第一块，你使用了.//a，但是发现第二块

  同样被你选中了.如果改成./div/a的话会精确许多

• E1//E2：选中E1后代节点中的所有E2
• E/text()：选中E的文本子节点（释放所有夹在<>.......<>中间的...部分）
• E/*：选中E的所有元素子节点
• */E：选中孙节点中的所有E
• E/@ATTR：选中E的ATTR属性，例如//img/@src
• //@ATTR：选中文档中所有ATTR属性
• E/@*：选中E的所有属性
• .：选中当前节点
• node[谓语]：这个用法非常常见，如选定
  这样所有带有id的div标签
  用法就是div[@id],选中所有div带有id属性且值为hot的标签就是div[@id=”hot”]
  同时还有position函数能够帮助在带有相同属性的标签中选择某几个位置上的那些
  a[last()]就是选定最后一个``
  a[position()<=3]就是选定前三个``
  a[3]就是选中第三个``（从1开始）
  a[contains(@class,”info”)] 选定class属性中包含”info”的a元素

甚至可以使用字符串函数
xpath(’string(/html/body/a)’).extract()
Out: [‘Click here to go to the Next Page’]
这能够提取到字符串

在xpath选完后，使用extract来释放提取到的东西，形成列表
response.xpath(’’).extract_first() 释放提取到的第一个东西