Scrapy爬取豆瓣页面

1.在items.py中定义字段，这些字段用来保存数据，方便后续的操作

import scrapy


class MovieItem(scrapy.Item):
    rank = scrapy.Field()  # 排名
    title = scrapy.Field()  # 名称
    score = scrapy.Field()  # 评分

2.修改settings.py对项目进行配置

• 设置用户代理，模拟浏览器访问页面

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
             'Chrome/66.0.3359.181 Safari/537.36'

• 是否遵循robots协议。
  如果没有配置USER_AGENT，需要把ROBOTSTXT_OBEY的值改为False

ROBOTSTXT_OBEY = True

• 指定请求数目，相当于线程数量，尽可能用较小的数。

CONCURRENT_REQUESTS = 1

• 配置DOWNLOAD_DELAY

DOWNLOAD_DELAY = 5

• 缓存页面

HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

如果想要指定代理用户，需要做如下操作：
* 在settings.py中配置DOWNLOADER_MIDDLEWARES

DOWNLOADER_MIDDLEWARES = {
   'douban.middlewares.DoubanDownloaderMiddleware': 543,
}

• 在middlewears.py中配置
  找到DoubanDownloaderMiddleware类的process_request函数，修改函数为如下内容

class DoubanDownloaderMiddleware(object):

    def process_request(self, request, spider):
        # Called for each request that goes through the downloader
        # middleware.

        # Must either:
        # - return None: continue processing this request
        # - or return a Response object
        # - or return a Request object
        # - or raise IgnoreRequest: process_exception() methods of
        #   installed downloader middleware will be called
        request.meta['proxy'] = 'http://ip:port'

3.编写我们的spider

rules中的LinkExtractor方法会自动去页面中搜索和rules中规则相匹配的url，callback指定调用的函数。

# -*- coding: utf-8 -*-

import scrapy

from douban2.items import MovieItem


class MovieSpider(scrapy.Spider):
    name = 'movie'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    # parse 是回调函数
    def parse(self, response):
        # 获取首页最下面的页面跳转链接
        # 由于需要获取每个页面中的电影详情页
        # 所以对于获取 的url ，需要指定回调函数 parse() 
        for a in response.xpath('//*[@id="content"]/div/div[1]/div[2]/a'):
            url = response.urljoin(a.xpath('@href').extract_first())
            yield scrapy.Request(url=url, callback=self.parse)

        # 获取电影详情页面链接
        # 由于需要通过电影详情页获取每部电影的信息
        # 所以对于此处获取的url，需要指定回调函数 parse_item()
        for li in response.xpath('//*[@id="content"]/div/div[1]/ol/li'):
            url = li.xpath('div/div[2]/div[1]/a/@href').extract_first()
            yield scrapy.Request(url=url, callback=self.parse_item)

    def parse_item(self, response):
        item = MovieItem()
        item['rank'] = response.xpath('//*[@id="content"]/div[1]/span[1]/text()').extract_first()
        item['title'] = response.xpath('//*[@id="content"]/h1/span[1]/text()').extract_first()
        item['score'] = response.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/strong/text()').extract_first()
        return item

4.启动shell，看spider是否能成功请求网页：

scrapy shell "https://movie.douban.com/top250"

注意：网页链接必须用双引号，如果用单引号会发生如下错误：

执行上面的命令，可能需要下面的错误情形：

此时，我们需要安装一下pypiwin32包

pip install pypiwin32

安装成功之后，再一次执行之前的命令，如果看到下面的结果，则表示请求成功。

5.运行爬虫，抓取数据
由于此处还没有把抓取到的有效内容做持久化处理，所有可以把内容重定向到一个文件中，便于我们查看。要实现这样的效果，只需要在命令后面加上 -o ，此处我把结果存储在result.json文件中。

scrapy crawl movie -o result.json

6.执行结果：
项目文件夹中生成了一个result.json文件，里面保存了抓取的全部数据信息。


通过菜鸟工具JSON在线解析帮助我们更好的查看数据。

总共抓取到了246条信息，网页中应该是有250个电影信息，经过建厂，发现网页中存在一些死链接，说明我们的spider成功抓取到了我们需要的所有信息。