scrapy的爬虫类总结

scrapy的爬虫类总结

scrapy存在两种爬虫类，一个是基于basic模板创建的普通爬虫类scrapy.Spider， 另一个是基于crawl的规则性爬虫类scrapy.spiders.CrawlSpider

1. scrapy.Spider类

scrapy.Spider是所有爬虫类的父类。当爬虫程序启动时，类中的start_requests()首先被调用。它的源码:

    def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % 						    (
                  cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)

在经过engine引擎的工作流程中， 发起的请求被成功下载之后，再次由爬虫类的parse()解析函数来解析。当解析完成之后，将解析中的数据item( dict / scarpy.Item子类对象 )。

对于普通的爬虫类来说，需要提供哪些属性：

name = '爬虫名'  # 日志记录器的名称
allowed_domains = ['网站的域名']  # 域名由ip和port组成的
start_urls = ['爬虫起始的网址或接口URL']  # 如果重写start_requests()方法时，可以不用此类属性


# 默认scrapy.Request()下载之后，没有指定callback时，由parse()函数解析
def parse(self, response):
   pass

普通爬虫类的创建

scrapy genspider 爬虫名 域名

默认情况下使用 basic的爬虫模板。

2. scrapy.spiders.CrawlSpider

规则爬虫是省略了一般的解析工作，它完成了感兴趣的连接文本提取。按rules中给定的Rule规则包含的LinkExtractor的allow/deny/restrict_xpaths/restrict_css的描述进行提取连接标签中的信息（href, text）。

一个规则爬虫类的属性，包含：

name = "爬虫名"
allowed_domains = []
start_urls = []   # 入口


# 爬虫规则
rules = [
   scrapy.spiders.Rule(
      LinkExtractor(allow=('正则1', '正则2'),  # 想要的
                    deny=('正则1'， '正则2'),   # 不想要的
                    restrict_xpaths=('包含a标签的（直接或间接）父标签1', '..'),
                    restrict_css=('', ''),
                    tags=('a', 'area'), # 指定感兴趣的标签名,
                    attrs=('href', )
                   ),  # 
      callback,
      follow=False,
      process_request='获取请求对象的函数'  # 指定函数，必须返回一个scrapy.Request子类对象
   ),
   scrapy.spiders.Rule(),
]

【注意】不能重写parse()解析函数，另个callback属性指定回调函数一定是字符描述，且不能带self。如

rules = [
    Rule(LinkExtractor(r'.*?\d+.html'), callback='parse_book'),
]

规则爬虫类的创建

scrapy genspider -t crawl 爬虫名  域名

使用crawl的爬虫模块创建爬虫类。