Scrapy 图片下载、自定义图片名称

首先说一下工作环境:win10下python3.7、scrapy1.6

接下来一起看下项目需求:

Scrapy 图片下载、自定义图片名称_第1张图片
项目需求

创建图片爬虫项目命令:scrapy startproject demo

下面爬虫项目工程图:

Scrapy 图片下载、自定义图片名称_第2张图片
项目工程

在spider文件夹创建爬虫文件:auto_logos_spider.py

name是车标爬虫类的唯一标识,为了后面运行爬虫项目用的:scrapy crawl autologos

start_urls 是表示从里面开始爬取数据

图片代码2中img_url一定要加[],是因为scrapy.pipelines.images.ImagesPipeline需要传入列表值

Scrapy 图片下载、自定义图片名称_第3张图片
代码1
Scrapy 图片下载、自定义图片名称_第4张图片
代码2

在items.py编写车标item,定义需要爬取信息:

Scrapy 图片下载、自定义图片名称_第5张图片
车标item

接下来在settings.py配置图片下载信息

Scrapy 图片下载、自定义图片名称_第6张图片
图片下载配置

运行一下项目:scrapy crawl autologos

下面是最原始的图片下载,会自动生成full文件夹,并且图片名称都是SHA1 hash名称

Scrapy 图片下载、自定义图片名称_第7张图片
下载成功图片


下面对图片进行重命名:

在pipelines.py中编写如下:

Scrapy 图片下载、自定义图片名称_第8张图片
代码

在settings.py中更改图片下载配置:

Scrapy 图片下载、自定义图片名称_第9张图片
更改配置

再次运行一下项目:scrapy crawl autologos

Scrapy 图片下载、自定义图片名称_第10张图片
图片目录
Scrapy 图片下载、自定义图片名称_第11张图片
下载图片

你可能感兴趣的:(Scrapy 图片下载、自定义图片名称)