网络爬虫框架Scrapy

一、简介

Scrapy 是一款简单、易用，适用范围很广的网络爬虫框架，主要用户数据挖掘、检测、自动化测试等领域，其整体结构如下：

1f422572f67914ce062b3084c369c83d.png

Scrapy主要包括了以下组件：
引擎(Scrapy) : 用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler) : 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader) : 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders) : 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline) : 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares) : 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares) : 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares) : 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy运行流程大概如下：

• 引擎从调度器中取出一个链接(URL)用于接下来的抓取
• 引擎把URL封装成一个请求(Request)传给下载器
• 下载器把资源下载下来，并封装成应答包(Response)
• 爬虫解析Response
• 解析出实体（Item）,则交给实体管道进行进一步的处理
• 解析出的是链接（URL）,则把URL交给调度器等待抓取

二、安装 & 创建工程

Linux 环境下直接执行以下命令即可：

sudo apt install python-pip
pip install scrapy  

创建工程，比如我们现在就创建一个example工程，就只需要直接输入一下命令：

scrapy startproject example

执行完这一步之后，系统会提示我们创建一个spider，直接安装提示创建一个就可以了。

接下来看看我们刚刚创建的项目目录，来了解一下都创建了哪些文件。

项目架构

scrapy框架结构：

• scrapy.cfg: 项目的配置文件。
• example/: 该项目的python模块。
• example/items.py: 项目中的item文件。
• example/pipelines.py: 项目中的pipelines文件。
• example/settings.py: 项目的设置文件。
• example/spiders/: 放置spider代码的目录。

三、实战---爬取豆瓣排名250的电影信息

1. 在item.py下面定义一个VideoItem类，作为我们爬取信息的实体类。

class VideoItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 排名
    ranking = scrapy.Field()
    # 电影名称
    movie_name = scrapy.Field()
    # 评分
    score = scrapy.Field()
    # 评论人数
    score_num = scrapy.Field()

2. 编写网络爬虫请求以及解析返回结果

# -*- coding: utf-8 -*-
import scrapy
import re
from scrapy import Request
from scrapy.spiders import Spider
from video.items import VideoItem

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['https://movie.douban.com/top250']

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
    }

    def start_requests(self):
        url = 'https://movie.douban.com/top250'
        yield Request(url, headers=self.headers)

    def parse(self, response):
        item = VideoItem()
        movies = response.xpath('//ol[@class="grid_view"]/li')
        for movie in movies:
            item['ranking'] = movie.xpath('.//div[@class="pic"]/em/text()').extract()[0]
            item['movie_name'] = movie.xpath('.//div[@class="hd"]/a/span[1]/text()').extract()[0]
            item['score'] = movie.xpath('.//div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
            item['score_num'] = movie.xpath('.//div[@class="star"]/span/text()').re(ur'(\d+)人评价')[0]
            yield item

        next_url = response.xpath('//span[@class="next"]/a/@href').extract()
        if next_url:
            next_url = 'https://movie.douban.com/top250' + next_url[0]
            yield Request(next_url, headers=self.headers, callback=self.parse)

3. 设置系统属性

# 爬取网站最大允许的深度(depth)值。如果为0，则没有限制。
# DEPTH_LIMIT = 4

# 设置下载的等待时间，大规模集中的访问对服务器的影响最大，相当与短时间中增大服务器负载
DOWNLOAD_DELAY = 2

SPIDER_MIDDLEWARES = {
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}

4. 运行爬虫程序

scrapy crawl example

5. 运行结果

   
   
   屏幕快照 2018-09-08 22.37.00.png

四、实战---爬取最新美剧

目标地址：http://www.meijutt.com/new100.html
爬取项目：美剧名称、状态、电视台、更新时间

# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import Spider
from meiju.items import MeijuItem

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://www.meijutt.com/new100.html']

    def parse(self, response):
        item = MeijuItem()
        meijus = response.xpath('//ul[@class="top-list  fn-clear"]/li')
        for meiju in meijus:
            item['name'] = meiju.xpath('./h5/a/text()').extract()
            item['status'] = meiju.xpath('./span/font/text()').extract()
            item['des'] = meiju.xpath('./span[@class="mjjq"]/text()').extract()
            item['episode'] = meiju.xpath('./span[@class="mjtv"]/text()').extract()
            item['update'] = meiju.xpath('./div/font/text()').extract()
            yield item