scrapy简单爬虫（scrapy.Spider）与深度爬虫（spiders.CrawlSpider）的对比

scrapy简单爬虫（scrapy.Spider）与深度爬虫（spiders.CrawlSpider）的对比

1、创建方式不一样
简单爬虫

scrapy genspider 爬虫名 "限定域，如：xxx.com"

深度爬虫

scrapy genspider -t crawl  爬虫名 "限定域，如：xxx.com"

2、 parse（）方法的作用不一样

• 注意：当编写爬虫规则时，避免使用parse作为回调函数。由于CrawlSpider使用parse方法来实现其逻辑，如果覆盖了 parse方法，crawl spider将会运行失败。

3、回调函数调用不一样
简单爬虫

callback = self.函数名

深度爬虫

callback = "函数名"