scrapy通用爬虫

什么是scrapy通用爬虫

CrawlSpider它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作．

首先我们要建立一个CrawlSpider模板

scrapy genspider -t crawl 爬虫文件 域名

示例：

class XcfcrawlspiderSpider(CrawlSpider):
    #爬虫名称
    name = 'xcfCrawlSpider'
    #设置允许爬取的域
    allowed_domains = ['xiachufang.com']
    #设置起始的url
    start_urls =   ['http://www.xiachufang.com/category/']
    rules = (
        Rule(
           LinkExtractor(allow=r'.*?/category/\d+/'),
           callback='parse_item',
           follow=True,process_links='check_category_url'
      ),
)

rules

CrawlSpider使用rules属性来决定爬虫的爬取规则，并将匹配后的url请求提交给引擎,完成后续的爬取工作。
在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了某种特定操作，比如提取当前相应内容里的特定链接，是否对提取的链接跟进爬取，对提交的请求设置回调函数等。

注意:如果多个rule匹配了相同的链接，则根据规则在本集合中被定义的顺序，第一个会被使用。

下面是各个参数的意思

class scrapy.spiders.Rule(
        link_extractor,
        callback = None,
        cb_kwargs = None,
        follow = None,
        process_links = None,
        process_request = None
)

link_extractor：是一个Link Extractor对象，用于定义需要提取的链接。
callback： 从link_extractor中每获取到链接得到Responses时，会调用参数所指定的值作为回调函数，该回调函数接收一个response作为其一个参数。
follow：是一个布尔(boolean)值，指定了根据该规则从response提取的链接是否需要跟进。如果callback为None，follow 默认设置为True ，否则默认为False。
process_links：指定spider中哪个的函数将会被调用，从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。
process_request：指定处理函数，根据该Rule提取到的每个Request时，该函数将会被调用，可以对Request进行处理，该函数必须返回Request或者None

注意：当编写爬虫规则时，避免使用parse作为回调函数。由于CrawlSpider使用parse方法来实现其逻辑，如果覆盖了 parse方法，crawl spider将会运行失败。

第一步

首先确定爬取网页需要保存的字段然后在Item。py定义你需要爬取的字段

第二步提取页面的url来设置需要提取的规则

LinkExtractor方法中的常用的参数*
allow : LinkExtractor对象最重要的参数之一，这是一个正则表达式，必须要匹配这个正则表达式(或正则表达式列表)的URL才会被提取，如果没有给出(或为空), 它会匹配所有的链接｡
deny : 用法同allow，只不过与这个正则表达式匹配的URL不会被提取)｡它的优先级高于 - allow 的参数，如果没有给出(或None), 将不排除任何链接｡
allow_domains:包含了spider允许爬取的域名(domain)列表(list)
deny_domains=():包含了spider不允许爬取的域名(domain)列表(list)

第三步保存数据

在这里需要用到pipelines管道文件
设置好数据库后需要设置 settings.py

settings里面设置相关参数
1.ROBOTSTXT_OBEY = False 设置是否遵守robot协议
2.DOWNLOAD_DELAY = 3 设置下载延时
3.设置全局的Header
DEFAULT_REQUEST_HEADERS = {
'User-Agent':' Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:59.0) Gecko/20100101 Firefox/59.0',
}

4.激活pipelines数据处理管道

ITEM_PIPELINES = {
'xiachufang.pipelines.XiachufangPipeline': 300,
}

#关于数据库的相关配置
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = 3306
MYSQL_USER = ''
MYSQL_PWD = ''
MYSQL_DB = ''
CHARSET = 'utf8'