深度学习:CIFAR-10数据集

深度学习:CIFAR-10数据集

简介

CIFAR-10和CIFAR-100是来自于80 million张小型图片的数据集,图片收集者是Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton。

官网 http://www.cs.toronto.edu/~kriz/cifar.html

CIFAR-10数据集
总数 图片尺寸 色彩 类别数 训练集 测试集
60000(张) 32×32 RGB 10类 50000(张) 10000(张)
深度学习:CIFAR-10数据集_第1张图片

整个数据集被分为5个training batches和1个test batch(每个batch有10000张图片)
test batch:随机从每类选择1000张图片组成
training batches:从剩下的图片中随机选择,但每类的图片不是平均分给batch的(即一些training batches中某类图片可能比较多),总数为每类5000张图片。

这些类别是完全互斥的,在automobile和trucks中,automobiles包括轿车、越野车等。trucks只包括大型卡车。两者都不包括皮卡。

下载方式

登陆官网http://www.cs.toronto.edu/~kriz/cifar.html下载数据集

深度学习:CIFAR-10数据集_第2张图片

顺便一提,Rodrigo Benenson对cifar-10、cifar-100等数据集的识别模型做了一个排名,click here to view

数据集

这里描述一下Python版本的数据集,Matlab版本是相同的。
解压后的目录结构

  • cifar-10-python
    • cifar-10-batches-py
      • batches.meta
      • data_batch_1
      • data_batch_2
      • data_batch_3
      • data_batch_4
      • data_batch_5
      • readme.html
      • test_batch
文件名 内容
batches.meta 每个batch大小, label名称, 图片大小
data_batch_1 训练集的第一个batch,含有10000张图片
data_batch_2 训练集的第二个batch,含有10000张图片
data_batch_3 训练集的第三个batch,含有10000张图片
data_batch_4 训练集的第四个batch,含有10000张图片
data_batch_5 训练集的第五个batch,含有10000张图片
readme.html
test_batch 测试集的batch,含有10000张图片

batch文件都是Python的pickled对象。
下面是python3来打开文件,并转换成dictonary的方法。

def unpickle(file):
    import pickle
    with open(file, 'rb') as fo:
        dict_ = pickle.load(fo, encoding='bytes')
    return dict_
data = unpickle('test_batch')
data.keys() # dict_keys([b'batch_label', b'labels', b'data', b'filenames'])
data[b'data'][0] # array([158, 159, 165, ..., 124, 129, 110], dtype=uint8)
每个batch文件转换为dictonary,其中的内容是
名称
data a 10000×3072 array(uint85),array的每行是一张32×32的彩色图片,前1024是red channel的值,后面1024是green channel的值,最后1024是blue channel的值。图片是以行主顺序存储,所以,前数组中前32个数表示的是一张图片第一行的red channel values。
labels a list of 10000 numbers in the range 0-9,labels中的序号i对应的是data数组中第i个图片的label。
batch_label batch的名称
filenames 数据集中data对应的图片名称数组
batches.meta文件包含了[b’num_cases_per_batch’, b’label_names’, b’num_vis’]
  • label_names – 十个类别对应的英文名

总结

  cifar-10是我所接触过的第二个图像数据集,和之前了解的mnist数据集相比,划分为5个training batches。图像也是彩色,所以要给图像的三个通道进行管理。

你可能感兴趣的:(深度学习)