「Scrapy 爬虫框架」选择器（Selectors）详解

内容介绍

开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部内容索引目录

看懂Python爬虫框架，所见即所得一切皆有可能

本章带你学习基于 Python3 的 Scrapy 爬虫框架 中数据爬取过程中从HTML源中如何提取数据。

提取数据的方式有很多种根据自己的习惯就好。

• BeautifulSoup 是 Python程序员中一个非常流行的Web抓取库，基于HTML代码的结构构造Python对象，并相当好地处理不好的标记，但它缺点是速度慢。
• lxml 是一个XML解析库(解析HTML)，并非Python标准库。它使用基于 ElementTree 。
• Scrapy 有自己的提取数据的机制被称为Selectors。

代码内容基于「Scrapy 爬虫框架」源码版本 2.4.0 ，更新内容会进行标记说明对应版本。

如何使用选择器

• 1.构建选择器

# 在处理response对象可以直接使用selector定位属性获取数据
>>> response.selector.xpath('//span/text()').get()
'good'

• 2.使用XPath和CSS查询方式

# response.xpath()方式
>>> response.xpath('//span/text()').get()
'good'

# response.css()方式
>>> response.css('span::text').get()
'good'

# 文本构造方式
>>> from scrapy.selector import Selector
>>> body = 'good'
>>> Selector(text=body).xpath('//span/text()').get()
'good'

# 基于TextResponse类的HtmlResponse处理response
>>> from scrapy.selector import Selector
>>> from scrapy.http import HtmlResponse
>>> response = HtmlResponse(url='http://example.com', body=body)
>>> Selector(response=response).xpath('//span/text()').get()
'good'

• 3.使用选择器
  

# 构造一个XPath，用于选择title标记中的文本
>>> response.xpath('//title/text()')
[<Selector xpath='//title/text()' data='Example website'>]

# 提取文本数据调用选择器 .get() 或 .getall()
>>> response.xpath('//title/text()').getall()
['Example website']
>>> response.xpath('//title/text()').get()
'Example website'
>>> response.css('title::text').get()
'Example website'

# .xpath()和.css()方法返回SelectorList实例列表
>>> response.css('img').xpath('@src').getall()
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

# 提取第一个匹配的元素，使用 .get() 或者 .extract_first()
>>> response.xpath('//div[@id="images"]/a/text()').get()
'Name: My image 1 '

# 未抓取到对应数据元素
>>> response.xpath('//div[@id="not-exists"]/text()').get() is None
True

>>> response.xpath('//div[@id="not-exists"]/text()').get(default='not-found')
'not-found'

# 选择对应属性内容
>>> [img.attrib['src'] for img in response.css('img')]
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']
 
>>> response.css('img').attrib['src']
'image1_thumb.jpg'

# 对应选择的结果是唯一时
>>> response.css('base').attrib['href']
'http://example.com/'

# 构建图像url的几种方式
>>> response.xpath('//base/@href').get()
'http://example.com/'

>>> response.css('base::attr(href)').get()
'http://example.com/'

>>> response.css('base').attrib['href']
'http://example.com/'

>>> response.xpath('//a[contains(@href, "image")]/@href').getall()
['image1.html',
 'image2.html',
 'image3.html',
 'image4.html',
 'image5.html']

>>> response.css('a[href*=image]::attr(href)').getall()
['image1.html',
 'image2.html',
 'image3.html',
 'image4.html',
 'image5.html']

>>> response.xpath('//a[contains(@href, "image")]/img/@src').getall()
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

>>> response.css('a[href*=image] img::attr(src)').getall()
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

CSS选择器扩展

按照W3C标准，CSS选择器不支持选择文本节点或属性值。但在web抓取上下文中选择这些内容是非常重要的，因此scrapy(Parsel)实现非标准伪元素:

1. 若要选择文本节点，使用 ::text
2. 若要选择属性值，使用 ::attr(name) 属性的名称

# title::text 选择后代的子文本节点