Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇

引言

大家好！这一期的文章来跟大家讲讲如何使用 Python Scrapy 框架实现对网页上图片的爬取并大量下载。我们以网易旗下的阴阳师手游为例，给大家演示一下游戏壁纸的抓取过程。

第一步：分析网页 html 结构

首先，我们打开阴阳师手游的官网，进入到游戏壁纸下载页面：

在这里插入图片描述

将网页下拉，我们还能看到更多的排成三列的壁纸图片：

在这里插入图片描述

按F12打开控制台，Shift + Ctrl + C 组合键开启查看网页元素的模式，然后将鼠标移动到某一张壁纸上面，选择一个分辨率按钮点击，我们可以看到相对应的图片标签：

在这里插入图片描述

知道了图片url的信息，并不代表这些元素一定包含在网页的静态页面里。为了确保我们的爬虫能够从网页中拿到这个标签，我们来右键点击页面，查看网页源代码：

在这里插入图片描述

进入网页源码后，将页面往下拉，我们可以看到一个个 img 标签以相同的形式分装在不断重复的 div 里面：

在这里插入图片描述

每一个壁纸的图片地址，都封装在一个 item 下的 cover 下的 mask 中，我们只需要用 CSS 选择器或者 XPath 选择器匹配这些标签就能够顺利获取图片地址。好，很有精神！接下来让我们开启一个爬虫项目来爬取这些壁纸吧。

第二步：使用 Scrapy 框架构建爬虫程序

配置 setting.py

工欲善其事，必先利其器。首先我们在 settings.py 文件中配置好IMAGE相关的属性：
[图片上传失败...(image-1e4ed8-1601099802566)]
IMAGES_URLS_FIELD 定义了我们之后获取图片URL的字段，我们将这个字段名设置为 image_url。
IMAGE_STORE 给出了图片保存的目录位置，我们把爬到的图片放在 [项目位置]/images/yys 文件夹下。
IAMGES_EXPIRES 给出了不重复爬取图片的天数，定为90天。

items.py 文件下创建图片 item 类

打开 items.py 文件，新建一个类，命名为 WallpaperYYSItem。这里一定需要一个 image_url 字段，之后会通过 ImagesPipeline 对该字段中的图片地址请求下载。

class WallpaperYYSItem(scrapy.Item):
    image_url = scrapy.Field()

创建 Spider 文件

在你的项目目录下，通过 scrapy genspider [crawler_name] [url] 开启一个爬虫文件：

scrapy genspider wallpaperYYS https://yys.163.com/media/picture.html

打开 spiders/wallpaperYYS.py，我们将 WallpaperyysSpider 类下的相关属性改为：
[图片上传失败...(image-5cd931-1601099802566)]

parse 函数书写

接下来就是我们的重头戏了，定义 parse 函数。这里的几个关键步骤为：

• response.css('.item .cover .mask') 用CSS选择器获取全部包含img标签的节点，并对其做遍历操作。
• 分析网页源码的时候我们会看到，一张图片有多种分辨率，这里我们根据需求来获取分辨率最大的那一张。由于这里的图片是以分辨率大小升序或降序排列的，那么第一张或者最后一张有可能是分辨率最大的图片。因此我们获取第一张和最后一张，比较其大小，将较大的那张设为 image_url。
• 创建一个 wallpaper_item，给其中的 image_url 赋值，注意我们一定要把 image_url 放在一个列表里！

    def parse(self, response):
        _getSize = lambda x: int(x[0]) + int(x[1])
        image_nodes = response.css('.item .cover .mask')
        for image in image_nodes:
            wallpaperF = image.css('a:nth-child(1)')
            wallpaperL = image.css('a:nth-last-child(1)')
            sizeF = _getSize(wallpaperF.xpath('text()').extract_first().split('x'))
            sizeL = _getSize(wallpaperL.xpath('text()').extract_first().split('x'))
            if sizeF > sizeL:
                image_url = wallpaperF.xpath('@href').extract_first()
            else:
                image_url = wallpaperL.xpath('@href').extract_first()

            wallpaper_item = WallpaperYYSItem()
            wallpaper_item['image_url'] = [image_url]
            yield wallpaper_item

创建自定义的 Pipeline

在 pipelines.py 文件中继承 ImagesPipeline 创建一个新的 YYSImagesPipeline。这里其实什么也不需要改，使用原来有的功能就行。

class YYSImagesPipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        return item

最后，在 settings.py 文件中将 YYSImagesPipeline 加入 ITEM_PIPELINES：

ITEM_PIPELINES = {
    'WallpaperCrawler.pipelines.WallpapercrawlerPipeline': 300,
    'WallpaperCrawler.pipelines.YYSImagesPipeline': 1,
}

第三步：运行爬虫项目

该配置的都已经配置好了，接下来只需一行命令，就能轻易地将600多张高清壁纸收入囊中。在命令行中输入 scrapy crawl wallpaperYYS，爬虫就能开始爬取。
经过不到一分钟的时间，我们打开对应的文件夹，就能看到600多张高清壁纸都静静地躺在那里啦：

在这里插入图片描述

全文完，作者@VelvetExodus。此篇为原创文章，转载请注明出处：
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇