python 爬虫之深度爬虫（CrawlSpider）

1.深度爬虫crawlspider

scrapy.spiders.CrawlSpider

创建项目：scrapy startproject 

创建爬虫：scrapy genspider -t crawl  

核心处理规则：from scrapy.spiders import CrawlSpider,Rule

核心处理提取：from scrapy.linkextractors import LinkExtractor

2.链接提取：LinkExtractor

class scrapy.contrib.linkextractor.sgml.SgmlLinkExtractor(
        allow = (),                  #符合正则表达式参数的数据会被提取
        deny = (),                   #符合正则表达式参数的数据会禁止提取
        allow_domains = (),          #包含在域名中可以提取数据
        deny_domains = (),           #包含在域名中禁止提取数据
        deny_extensions = (),       
        restrict_xpath = (),         #使用xpath提取数据，和allow共同起作用
        tags = (),                   #根据标签名称提取数据
        attrs = (),                  #根据标签属性提取数据
        canonicalize = (),
        unique = True,               #剔除重复链接请求
        process_value = None
)

classscrapy.contrib.spiders.CrawlSpider
爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。 也许该spider并不是完全适合您的特定网站或项目，但其对很多情况都使用。 因此您可以以其为起点，根据需求修改部分方法。当然您也可以实现自己的spider。
除了从Spider继承过来的(您必须提供的)属性外，其提供了一个新的属性:
rules
一个包含一个(或多个) Rule
对象的集合(list)。 每个 Rule
对爬取网站的动作定义了特定表现。 Rule对象在下边会介绍。 如果多个rule匹配了相同的链接，则根据他们在本属性中被定义的顺序，第一个会被使用。
该spider也提供了一个可复写(overrideable)的方法:
parse_start_url(response)
当start_url的请求返回时，该方法被调用。 该方法分析最初的返回值并必须返回一个 Item
对象或者 一个 Request
对象或者 一个可迭代的包含二者对象。

3.爬取规则

rules = [
    Rule(
        link_extractor,     # LinkExtractor对象
        callback=None,      # 请求到响应数据时的回调函数
        cb_kwargs=None,     # 调用函数设置的参数
        follow=None,        # 是否从response跟进链接：不要指定为parse
        process_links=None, # 过滤linkextractor列表，每次获取列表时都会调用
        process_request=None    # 过滤request,每次提取request都会调用
    )
]

classscrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None,process_links=None, process_request=None)
link_extractor
是一个 Link Extractor 对象。 其定义了如何从爬取到的页面提取链接。
callback
是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中每获取到链接时将会调用该函数。该回调函数接受一个response作为其第一个参数， 并返回一个包含Item
以及(或) Request
对象(或者这两者的子类)的列表(list)。
警告
当编写爬虫规则时，请避免使用 parse作为回调函数。 由于 CrawlSpider 使用 parse方法来实现其逻辑，如果 您覆盖了 parse方法，crawl spider 将会运行失败。
cb_kwargs 包含传递给回调函数的参数(keyword argument)的字典。
follow 是一个布尔(boolean)值，指定了根据该规则从response提取的链接是否需要跟进。 如果callback 为None， follow 默认设置为 True ，否则默认为 False 。
process_links 是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤
process_request 是一个callable或string(该spider中同名的函数将会被调用)。 该规则提取到每个request时都会调用该函数。该函数必须返回一个request或者None。 (用来过滤request)

CrawlSpider样例

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
        Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

        # 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
        Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
    )

    def parse_item(self, response):
        self.log('Hi, this is an item page! %s' % response.url)

        item = scrapy.Item()
        item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
        item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
        item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
        return item

该spider将从example.com的首页开始爬取，获取category以及item的链接并对后者使用 parse_item
方法。 当item获得返回(response)时，将使用XPath处理HTML并生成一些数据填入 Item
中

4.如何在pycharm中启动爬虫程序

在项目下创建start.py文件

# -*- coding:utf-8 -*-
from scrapy import cmdline  #引入命令行
cmdline.execute('scrapy crawl dang'.split())

运行文件即可

点击Edit Configurations

添加python文件

配置完毕后，点击ok

点击运行