CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)

cifar10数据集(下载并读取、可视化显示、另存为图片)

2022-06-09 18:23:38

数据集简介

CIFAR-10 是由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。一共包含 10 个类别的 RGB 彩色图 片:飞机( airplane )、汽车( automobile )、鸟类( bird )、猫( cat )、鹿( deer )、狗( dog )、蛙类( frog )、马( horse )、船( ship )和卡车( truck )。图片的尺寸为 32×32 ,数据集中一共有 50000 张训练图片和 10000 张测试图片。 CIFAR-10 的图片样例如图所示。

  • 下面这幅图就是列举了10各类,每一类展示了随机的10张图片:

CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)_第1张图片

与 MNIST 数据集中目比, CIFAR-10 具有以下不同点:

  • CIFAR-10 是 3 通道的彩色 RGB 图像,而 MNIST 是灰度图像。
  • CIFAR-10 的图片尺寸为 32×32, 而 MNIST 的图片尺寸为 28×28,比 MNIST 稍大。
  • 相比于手写字符, CIFAR-10 含有的是现实世界中真实的物体,不仅噪声很大,而且物体的比例、 特征都不尽相同,这为识别带来很大困难。 直接的线性模型如 Softmax 在 CIFAR-10 上表现得很差

数据集下载

官方下载地址:(共有三个版本:python,matlab,binary version 适用于C语言)

  • http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz

  • http://www.cs.toronto.edu/~kriz/cifar-10-matlab.tar.gz

  • http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz

数据集目录结构

5个训练批次 + 1个测试批次,每一批10000张图片。

测试批次包含10000张图片,是由每一类图片随机抽取出1000张组成的集合。

训练批次是由剩下的50000张图片打乱顺序,然后随机分成5份,所以可能某个训练批次中10个种类的图片数量不是对等的,会出现一个类的图片数量比另一类多的情况

CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)_第2张图片

本地数据集导入

本文准备使用 TensorFlow 进行后续工作,并且想学习了解数据集的本质,所以没有选择傻瓜式导入!

TensorFlow 调用(傻瓜式,不采用!)

from tensorflow.keras.datasets import cifar10

(x_train,y_train), (x_test, y_test) = cifar10.load_data()

本地导入

import numpy as np
import cv2

# 示例函数
# def unpickle(file):
#     import pickle
#     with open(file, 'rb') as fo:
#         dict = pickle.load(fo, encoding='bytes')
#     return dict

# 打开cifar-10数据集文件目录
def unpickle(file):
    import pickle
    with open("D:/projects/CIFAR-10/官方数据集/cifar-10-python/cifar-10-batches-py/"+file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

选取data_batch_1可视化其中一张图

#打开cifar-10文件的data_batch_1
data_batch=unpickle("data_batch_1")

# data_batch为字典,包含四个字典键:
# b'batch_label' 
# b'labels' 标签
# b'data'  图片像素值
# b'filenames'
data_batch

打印可看到以下结果:

CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)_第3张图片

。。。(一共10000个标签,此处省略n个)

CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)_第4张图片

一批次的数据集中有4个字典键,我们需要用到的就是 数据标签数据内容(10000×32×32×3,10000张32×32大小为rgb三通道的图片)

cifar_label=data_batch[b'labels']
cifar_data=data_batch[b'data']

#把字典的值转成array格式,方便操作
cifar_label=np.array(cifar_label)
print(cifar_label.shape)
cifar_data=np.array(cifar_data)
print(cifar_data.shape)

输出结果:请添加图片描述

给 0-9 十个数字标签 手动打上文字标签

label_name=['airplane','automobile','brid','cat','deer','dog','frog','horse','ship','truck']

这一步可以说是踩了很多坑了。。(才疏学浅,cv2的很多函数忘了)

注意事项以及重点:

  1. 导包 matplotlib.pyplot ,由于环境用的jupyter notebook,还要在里面能显示,还得加上 %matplotlib inline
  2. cifar_data[1]是长度为3072的数据,为数据集中第2张图片
  3. reshap() 函数参数-1的意思是一个未知量,将其他矩阵维度输入后会自动生成一个完整矩阵
  4. 数组的排序方式是依次按照 r,g,b 三通道,不是之前某个地方学到的b,g,r的顺序。。
  5. 最坑的地方以为cv2可以直接读取numpy数组,结果发现要归一化才能读!!!

CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)_第5张图片

# 拿第2个图片的np矩阵举例,将rgb矩阵转换为可显示图片

import matplotlib.pyplot as plt
%matplotlib inline

image = cifar_data[1]
# 分离出r,g,b:3*1024
image = image.reshape(-1,1024)
r = image[0,:].reshape(32,32) #红色分量
g = image[1,:].reshape(32,32) #绿色分量
b = image[2,:].reshape(32,32) #蓝色分量

# 特别注意点:cv2模块可以接受numpy数组,需要注意的是将 0-255 归一化到 0-1 !!!
# 因此,您应该在代码中除以255

img = np.zeros((32,32,3))
img[:,:,0]=r/255
img[:,:,1]=g/255
img[:,:,2]=b/255

plt.imshow(img)

另存为图片

# 参考代码
import numpy as np
import cv2

def unpickle(file):#打开cifar-10文件的其中一个batch(一共5个batch)
    import pickle
    with open("C:/Users/Chengguo/Desktop/py_study/Alexnet/cifar-10-batches-py/"+file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

data_batch=unpickle("data_batch_2")#打开cifar-10文件的data_batch_1
cifar_data=data_batch[b'data']#这里每个字典键的前面都要加上b
cifar_label=data_batch[b'labels']
cifar_data=np.array(cifar_data)#把字典的值转成array格式,方便操作
print(cifar_data.shape)#(10000,3072)
cifar_label=np.array(cifar_label)
print(cifar_label.shape)#(10000,)

label_name=['airplane','automobile','brid','cat','deer','dog','frog','horse','ship','truck']

def imwrite_images(k):#k的值可以选择1-10000范围内的值
    for i in range(k):
        image=cifar_data[i]
        image=image.reshape(-1,1024)
        r=image[0,:].reshape(32,32)#红色分量
        g=image[1,:].reshape(32,32)#绿色分量
        b=image[2,:].reshape(32,32)#蓝色分量
        img=np.zeros((32,32,3))
        #RGB还原成彩色图像
        img[:,:,0]=r
        img[:,:,1]=g
        img[:,:,2]=b
        cv2.imwrite("C:/Users/Chengguo/Desktop/py_study/Alexnet/cifar_pictures/"+ "NO."+str(i)+"class"+str(cifar_label[i])+str(label_name[cifar_label[i]])+".jpg",img)
    print("%d张图片保存完毕"%k)

imwrite_images(100)

# ————————————————
# 版权声明:本文为CSDN博主「G果」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
# 原文链接:https://blog.csdn.net/weixin_42899627/article/details/108036641

你可能感兴趣的:(图像处理,python)