通用爬虫

通用爬虫CrawlSpider：

CrawlSpider是Scrapy提供的一个通用Spider。在spider里，我们可以指定一些爬取规则来实现页面的提取，这些爬取的规则由一个专门的数据结构Rule表示。Rule里包含提取和根进页面的配置，Spider会根据Rule来确定当前页面的哪些链接需要爬取、哪些页面的爬取结果需要用那些方法解析等

CrawlSpider继承自Spider类，除了Spider类的所有方法和属性，它还提供了一个非常重要的属性和方法。

rules,它是爬取规则属性，是包含一个或多个Rule对象的列表

parse_start_url()，它是一个可重写的方法。

这里最重要的内容莫过于Rule的定义了，它的定义和参数如下：

class scrapy.contrib.spiders.Rule(link_extractor,callback=None,cb_kwargs=None,folow=None,process_links=None,process_request=None)

link_extractor:是Link Extractor对象。通过它，Spider可以知道从爬取的页面中提取的哪些链接，提取出的链接会自动生成Request；

allow是一个正则表达式或者正则表达式列表，它定义了从当前页面提取出来的链接哪些是符合要求的；

allow_domains定义了符合要求的域名，只有此域名的链接才会被跟进生产新的Request，它相当于白名单。

deny_domains相当于黑名单

restrict_xpaths:定义了从当前页面中XPath匹配的区域提取链接，其值是XPath表达式或者XPath表达式列表；

callback：即回调函数，注意，避免使用parse()作为回调函数，由于CrawlSpider使用parse()方法来实现其逻辑，如果parse()方法覆盖了，CrawlSpider将会运行失败

cb_kwargs:字典，它包含传递给回调函数的参数

follow：布尔值，他指定根据该规则从response提取的链接是否需要跟进，如果callback参数为None，follow默认值设置为True，否则默认为False。

process_links:指定处理函数，从link_extractor中获取到链接列表时，该函数会调用，它主要用于过滤；

process_request:同样是指定处理函数，根据Rule提取到的每一个Request时，该函数都会调用，对request进行处理。该函数返回值必须是request或None。

item Loader提供一种便捷的价值来帮助我们方便的提取Item，他提供一系列API可以分析原始数据对Item进行赋值。Item提供的是保存抓取数据的容器，而Item Loader提供的是填充容器的机制

创建爬虫命令：

scrapy startproject scrapyuniversal

scrapy genspider -t crawl china tech.china.com





import scrapy.spider import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor

class DushuSpider(CrawlSpider):
    name = 'dushu',
    allowed_domains = ['www.dushu.com']
    start_urls = ['http://www.dushu.com/']

    rules = (
        Rule(LinkExtractor(allow=r'/guoxue/\d+'),follow=True),
        Rule(LinkExtractor(allow=r'/guoxue/\d+'),callback="parse_item"),
    )

    def parse_item(self,response):
        print(response.xpath('//title/text()'))
  ................................................................


#与scrapy爬虫相比，crawlspider使用rules规则，相当于scrapy爬虫中的：
def parse_link(self,response):
    links = response.xpath('//a/@href')
    for link in links:
        yield scrapy.Request(link,callback=self.parse_item)

def parse_item(self,response):
        print(response.xpath('//title/text()'))

总结：

在Scrapy通用爬虫中，我们将所有配置抽离出来，每增加一个爬虫，就只需要增加一个JSON文件配置。我们之后只需要维护这些配置文件即可。如果要更加方便的管理，可以将规则存入数据库，再对接可视化管理界面即可。