基于scrapy的两种增量式爬虫（url，数据指纹）

增量式爬虫基于对数据的筛选和去重，redis的sadd正好符合这一功能，下面我们就用scrapy+redis来实现增量式爬虫。

增量式爬虫应用场景

• 用于自动化获取我们想要的数据
  • 前提是我们需要对网站数据更新模式有一些了解，避免对我们获取数据带来不必要的麻烦
  • 弊端就是我们筛选数据时不正确的处理方式导致浪费时间。

增量式爬虫处理数据方式

• 在发送请求之前判断这个URL是不是之前爬取过
  • 适合不断有新页面出现的网站，比如说小说的新章节，每天的最新新闻等等；
• 在解析内容后判断这部分内容是不是之前爬取过
  • 适合页面内容会更新的网站。
• 写入存储介质时判断内容是不是已经在介质中存在
  • 相当于是最后的一道防线。这样做可以最大程度上达到去重的目的。

本篇博客用了redis的过滤功能，只支持小数据，当数据量到达上亿时，不适用此方法，推荐布隆过滤法

• https://blog.csdn.net/kun1280437633/article/details/80643879

Redis Sadd 命令

• Redis Sadd 命令将一个或多个成员元素加入到集合中，已经存在于集合的成员元素将被忽略。

• 假如集合 key 不存在，则创建一个只包含添加的元素作成员的集合。

• 当集合 key 不是集合类型时，返回一个错误。

• 注意：在Redis2.4版本以前， SADD 只接受单个成员值

url方式与数据指纹方式

url

• 判断次url是否爬过，基于上面的第一种方式，优点就是代码简洁，缺陷就是只能判断一个页面，对于更新在页面中的数据无法处理。
• 下面的Demo用CrawlSpider方法爬取新url页的数据

数据指纹

• 根据数据利用md5生成的数据指纹来筛选数据，为以上处理方式的第二种。
• 相比url方式可以更具体的判断某页数据是否有更新，使用更灵活。
• 加密方式可以用别的方式，向sha256，只不过数据量过大时，会给redis带来压力。

# spider编码:
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from mvpro.items import MvproItem


class MoveSpider(CrawlSpider):
    conn = Redis('127.0.0.1', 6379)
    name = 'move'
    # allowed_domains = ['www.baidu.com']
    start_urls = ['https://www.4567tv.co/list/index1.html']
    link = LinkExtractor(allow=r'/list/index1-\d+\.html')
    rules = (
        Rule(link, callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        li_list = response.xpath('//div[contains(@class, "index-area")]/ul/li')
        for li in li_list:
            mv_link = 'https://www.4567tv.co' + li.xpath('./a/@href').extract_first()
            ex = self.conn.sadd('mv_link', mv_link)
            if ex:
                print('有新数据可以爬取..........................')
                yield scrapy.Request(url=mv_link, callback=self.parse_detail)
            else:
                print('没有新数据可以爬取!!!!!!!!!!!!!!!!!!!!!!!!!')

    def parse_detail(self, response):
        title = response.xpath('//dt[@class="name"]/text()').extract_first()
        pro = response.xpath('//div[@class="ee"]/text()').extract_first()
        item = MvproItem()
        item['title'] = title
        item['position'] = pro
        yield item

• 上面Demo基于CrawlSpider类来全站爬取标题及详情页介绍
• 利用Sadd 返回1的url来爬取。

import scrapy
from qiubai.items import QiubaiItem
import hashlib
from redis import Redis

class QbSpider(scrapy.Spider):
    conn = Redis('127.0.0.1', 6379)
    name = 'qb'
    # allowed_domains = ['www.baidu.com']
    start_urls = ['https://www.qiushibaike.com/text/']

    def parse(self, response):
        div_list = response.xpath('//div[@id="content-left"]/div')

        for div in div_list:
            content = div.xpath('./a[1]/div[@class="content"]/span[1]/text()').extract_first()
            fp = hashlib.md5(content.encode('utf-8')).hexdigest()
            ex = self.conn.sadd('fp', fp)
            if ex:
                print('有更新数据需要爬取........................')
                item = QiubaiItem()
                item['content'] = content
                yield item
            else:
                print('没有数据更新!!!!!!!!!!!!!!!!!!!!!!!!')

• 上面的Demo基于scrapy.Spider类的糗百爬取
• 在redis里对每条数据生成数据指纹来对比，为1 存入，否则过滤。

总结

基于框架的增量式爬虫确实更加便利，搭配CrawlSpider，分布式，效率爬取。
另外pyspider框架也有过滤去重功能，有机会我会在后面写。