MIT-Adobe FiveK Dataset 图片自动下载

MIT-Adobe FiveK Dataset 图片自动下载

  MIT-Adobe FiveK是现在很多做图像增强(image enhancement)与图像修饰(image retouching)方面研究的人员经常会使用到的数据库。这个数据库中包含5000张dng格式的原始图片及分别由五个(A,B,C,D,E)专业修图人员手工修饰后的图片。关于该数据库的详细资料可以在:https://data.csail.mit.edu/graphics/fivek/上找到。博主目前也在作图像增强方面的算法,在该网站上面,虽然提供了原始图片的下载链接,但是修饰后的图片只提供了每个图片的独立下载链接,手工对这些图片一张张下载的话,肯定是一件令人抓狂的事情,因此博主打算应用一个python脚本来自动下载所需要的图片。

  查看网页的源码,发现这些经过修饰后的图片的URL存在一定的规律,例如:由C修饰的第一张图片的URL为https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif。该地址可以划分为三部分:https://data.csail.mit.edu/graphics/fivek/img/(不变),tiff16_c(代表C修饰的图片,如果最后一个字母是D,那么就代表D所修饰的图片),a0001-jmac_DSC1459.tif(文件名)。发现这一规律之后,我们就可以运用简单的python脚本,通过图片的文件名来将图片下载到本地。

  数据集中所有文件的名称在下载原始图片的时候就可以下载下来,它们被分别放置在名为:filesAdobe.txt和filesAdobeMIT.txt这两个文件中。自动下载的脚本如下:

 

import os
import sys
from urllib.request import urlretrieve

#改变当前工作路径
CURRENT_PATH="/home/luohang/PyLearn"#本文件所在路径
os.chdir(CURRENT_PATH)#改变当前路径

#存储图像名称的list
img_lst=[]
#读取图片名列表
with open('filesAdobe.txt', 'r') as f:
    for line in f.readlines():
        img_lst.append(line.rstrip("\n"))#去掉换行符

with open('filesAdobeMIT.txt', 'r') as f:
    for line in f.readlines():
        img_lst.append(line.rstrip("\n"))#去掉换行符

#urlretrieve 函数的回调函数,显示下载进度
def cbk(a,b,c):
    '''回调函数
    @a:已经下载的数据包数量
    @b:数据块的大小
    @c:远程文件的大小
    '''
    per=100.0*a*b/c
    if per>100:
        per=100
    #在终端更新进度
    sys.stdout.write("progress: %.2f%%   \r" % (per))
    sys.stdout.flush()

#根据文件的url下载图片
for i in img_lst:
    URL='https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/'+i+'.tif'#下载由C所调整的图像(可根据需要下载其它的四类图像)
    print('Downloading '+i+':')
    urlretrieve(URL, '/media/luohang/软件/FiveK_C/'+i+'.tif', cbk)#将所获取的图片存储到本地的地址内

 

运行结果如下:

 

你可能感兴趣的:(MIT-Adobe FiveK Dataset 图片自动下载)