放风筝的富兰克林
放风筝的富兰克林

Scrapy文档翻译--CrawlSpider

非全文翻译，仅翻译部分重要功能介绍
文档翻译自Scrapy 1.5.1
scrapy documentation

CrawlSpider: scrapy.spider.CrawlSpider
是scrapy提供的几个常用爬虫类之一，常用来做通用爬虫的开发。可以通过定义一组Rules来追踪所需要的链接。优点是便利，只需要很少的代码就可以实现一个全站爬虫。缺点是不一定能满足对特定网站的爬取需求。如果有需要，可以根据需求重写它的方法、属性来获得更多的自定义功能。
除了从Spider继承的属性，此类还有一个新的属性：

  • rules

它是一个或多个Rule对象组成的列表。每个Rule定义用于爬取网点的特定行为。如果多个规则都匹配到相同的链接，则将根据它们在Rule中定义的顺序使用第一个规则。

此外，这个Spider还提供了一个可重写的方法：

  • parse_start_url(response)
Scrapy文档翻译--CrawlSpider_第1张图片
scrapy.spider.Rule 
class srapy.spiders.Rules(link_extractor, callback=None, cb_kwargs=None, follow=None, process_link=None, process_request=None)

link_extractor是一个Link Extractor对象，它定义从每个已爬取网页中提取哪些链接。
callback 是一个可调用的方法或者一个字符串(将使用具有该名称的spider对象的方法)为使用指定link_extractor对象提取的每个链接调用。此回调函数接受response并作为其第一个参数，并且必须返回Item和/或Request对象(或其任何子类)的列表。
警告

编写crawl spider rules时，避免使用parse作为回调函数，因为CrawlSpider使用parse方法本身来实现其主要逻辑。如果覆盖了该parse方法，则crawl spider将不再起作用。

cb_kwargs是一个包含要传递给callback函数关键字的参数的dict。

follow是一个布尔值，它指定是否应该从使用此规则提取的每个响应中继续跟踪链接。如果callback存在，则follow默认为True，否则默认为False。

process_links是一个可调用的方法，或一个字符串(将使用具有该名称的spider对象的方法)，将使用指定的每个response提取的每个链接列表调用该方法link_extractor。主要目的是用于过滤。

process_request是一个可调用的方法，或一个字符串(将使用具有该名称的spider对象的方法)，该方法将在此rule提取的每个request中调用，并且必须返回请求或None(用于过滤请求)

CrawlSpider示例

官方示例:

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # Extract links matching 'category.php' (but not matching 'subsection.php')
        # and follow links from them (since no callback means follow=True by default).
        Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

        # Extract links matching 'item.php' and parse them with the spider's method parse_item
        Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
    )

    def parse_item(self, response):
        self.logger.info('Hi, this is an item page! %s', response.url)
        item = scrapy.Item()
        item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
        item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
        item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
        return item

这个Spider会开始抓取example.comde的主页，收集类别链接和项目链接，使用该parse_item方法解析后者。对于每个项目的response，将使用XPath从HTML中提取一些数据并填充Item。

重点补充：LinkExtractor

LinkExtractor对象，其唯一目的是从scrapy.http.Response中提取符合规则的链接。

内置link extractors参考

scrapy.linkextractors模块中提供了与scrapy捆绑在一起的LinkExtractor类。
默认的link extractor是LinkExtractor，它与以下内容相同LxmlLinkExtractor:

from scrapy.linkextractors import LinkExtractor

以前版本的scrapy中曾包含过其他link extractor(链接提取器)类，但已经弃用。

LxmlLinkExtractor

class scrapy.linkextractors.lxmlhtml.LxmlLinkExtractor（allow =（），deny =（），allow_domains =（），deny_domains =（），deny_extensions = None，restrict_xpaths =（），restrict_css =（），tags =（'a'，'area'），attrs = （'href'，），canonicalize = False，unique = True，process_value = None，strip = True ）

LxmlLinkExtractor是官方推荐的link extractor，具有很多方便过滤的选项，是使用lxml强大的HTMLParse实现的。

参数

  • allow(正则表达式(或列表)):URL必须匹配才能被提取。如果没有给出（或为空），它将匹配所有链接。
  • deny(正则表达式(或列表)):URL必须匹配才能排除。它将优于allow参数。如果没有给出(或为空)，它将不排除任何链接
  • allow_domains(str或list):单个值或者包含域的字符串列表，用于提取链接。
  • deny_domains(str或list):单个值或者包含域的字符串列表，用于忽略提取链接的。
  • deny_extensions*(list):包含扩展名的单个值或字符串列表，用于提取链接时忽略的扩展名链接，如果没有给出，将默认为scrapy.linkextractors包IGNORED_EXTENSIONS中定义的列表 *
  • restrict_xpaths(str或list):是一个XPath(str或list)，定义response中应从中提取链接的区域。如果给定，则仅扫描由这些XPath选择的内容中提取链接。
  • restrict_css(str或list)，定义response中应从中提取链接的区域。如果给定，则仅扫描由这些CSS选择的内容中提取链接。
  • tags(str或list):提取链接时的标签或标签列表，默认为('a','area')
  • attrs(list):查找要提取的链接时应考虑的属性或属性列表(仅适用于tags参数中指定的标签)。默认为('href',)
  • canonicalize(boolean)- 规范每个提取的url（使用w3lib.url.canonicalize_url）。默认为False。canonicalize_url用于重复检查; 它可以更改服务器端可见的URL，因此对于具有规范化和原始URL的请求，响应可能不同。如果您使用LinkExtractor跟踪链接，则保持默认值使爬虫更加健壮canonicalize=False。
  • unique(boolean):是否应对提取的链接应用重复过滤
  • process_value(callable):接收从标签中提取的每个值和扫描的属性的函数，可以修改该值并返回一个新值，或者返回None完全忽略该链接。如果没有给出，process_value默认为。lambda x: x

例如要从此代码中提取链接:

Link text

你可以使用以下功能process_value:

def process_value(value):
    m = re.search("javascript:goToPage\('(.*?)'", value)
    if m:
        return m.group(1)