(超详细)读取mnist数据集并保存成图片

mnist数据集介绍、读取、保存成图片

  • 1、mnist数据集介绍:
  • MNIST数据集是一个手写体数据集,简单说就是一堆这样东西 
  • MNIST的官网地址是 MNIST; 通过阅读官网我们可以知道,这个数据集由四部分组成,分别是 
    ;
  • 也就是一个训练图片集,一个训练标签集,一个测试图片集,一个测试标签集;我们可以看出这个其实并不是普通的文本文件或是图片文件,而是一个压缩文件,下载并解压出来,我们看到的是二进制文件,其中训练图片集的内容部分如此 
     
    这些二进制数据如何解释呢?在这里我们只针对官网的说法,对训练图片集和训练标签集进行解说,测试集是一样的道理。
  • 针对训练标签集,官网上陈述有 
     
    官网说法,训练集是有60000个用例的,也就是说这个文件里面包含了60000个标签内容,每一个标签的值为0到9之间的一个数;回到我们的训练标签集上,按上面说的,我们先解析每一个属性的含义,offset代表了字节偏移量,也就是这个属性的二进制值的偏移是多少;type代表了这个属性的值的类型;value代表了这个属性的值是多少;description是对这个的说明;所以呢,这里对上面的进行一下说明,它的说法是“从第0个字节开始有一个32位的整数,它的值是0x00000801,它是一个魔数;从第4个字节开始有一个32位的整数,它的值是60000,它代表了数据集的数量;从第8个字节开始有一个unsigned byte,它的值是??,是一个标签值….”;我们现在针对我们看到的文件进行解说,看图 
     
    首先我们知道用sublime打开这个文件(是解压过的),是用十六进制表示的,也就是说里面的每一个数字代表了四个位,两个数字代表了一个字节;我们首先看到偏移量为0字节处0000 0801它就是代表了魔数,它的值为0000 0801,这里补充说一下什么是魔数,其实它就是一个校验数,用来判断这个文件是不是MNIST里面的train-labels.idx1-ubyte文件;接着往下看偏移量为4字节处0000 ea60,我们知道按照上面说过的这个应该是表示容量数,也就是60000,而60000的十六进制就是ea60,满足;再看偏移量为8字节处05,它就表示我们的标签值了,也就是说第一个图片的标签值为5,后面的也是依此类推;
  • 接下来我们来看训练图片集,同样从官网上可以看到 
     
    其解说与上面的标签文件类似,但是这里还要补充说明一下,在MNIST图片集中,所有的图片都是28×28的,也就是每个图片都有28×28个像素;看回我们的上述图片,其表示,我们的train-images-idx3-ubyte文件中偏移量为0字节处有一个4字节的数为0000 0803表示魔数;接下来是0000 ea60值为60000代表容量,接下来从第8个字节开始有一个4字节数,值为28也就是0000 001c,表示每个图片的行数;从第12个字节开始有一个4字节数,值也为28,也就是0000 001c表示每个图片的列数;从第16个字节开始才是我们的像素值,用图片说话 
    ;而且每784个字节代表一幅图片 
    我们可以看到文件的二进制内容同我们分析的是一样的。
  • 补充说明:在图示中我们可以看到有一个MSB first,其全称是”Most Significant Bit first”,相对称的是一个LSB first,“Least Significant Bit”; MSB first是指最高有效位优先,也就是我们的大端存储,而LSB对应小端存储;关于大端,小端,可以 参考

2、mnist数据集读取及保存成图片

代码一共有三个文件组成
ReadMnistData.h
ReadMnistData.cpp
Main.cpp
其中ReadMnistData.h和ReadMnistData.cpp文件中定义了读取文件和保存成图片的函数,Main.cpp中是设置读取文件路径和保存路径。只需要设置文件的读取路径和保存路径,然后运行就可以了。
下面给出Main.cpp的代码:
#include "ReadMnistData.h"

int main()
{
	ReadMnistData rmd;

	/*读取训练文件并保存成图片格式*/
	string filename_train_images = "C:\\Users\\lyf\\Desktop\\mnist\\train-images-idx3-ubyte";	//train images 文件路径
	string filename_train_labels = "C:\\Users\\lyf\\Desktop\\mnist\\train-labels-idx1-ubyte";	//train labels 文件路径
	string save_train_image_path = "C:\\Users\\lyf\\Desktop\\mnist\\train_images\\";		//train images 保存路径
	vector vec_train_images;			//保存读取的train images
	vector vec_train_labels;				//保存读取的train labels

	rmd.Read_Mnist_Images(filename_train_images, vec_train_images);			//读取train images
	cout << "-----------------------------" << endl;
	rmd.Read_Mnist_Labels(filename_train_labels, vec_train_labels);			//读取train labels
	cout << "-----------------------------" << endl;
	rmd.Save_Mnist_Images(save_train_image_path, vec_train_images, vec_train_labels);	//保存train_images

	//==================================================================================
	/*读取测试文件并保存成图片格式*/
	string filename_test_images = "C:\\Users\\lyf\\Desktop\\mnist\\t10k-images-idx3-ubyte";		//test images 文件路径
	string filename_test_labels = "C:\\Users\\lyf\\Desktop\\mnist\\t10k-labels-idx1-ubyte";		//test labels 文件路径
	string save_test_image_path = "C:\\Users\\lyf\\Desktop\\mnist\\test_images\\";			//test images 保存路径
	vector vec_test_images;			//保存读取的test images
	vector vec_test_labels;				//保存读取的test labels
	
	rmd.Read_Mnist_Images(filename_test_images, vec_test_images);			//读取test images
	cout << "-----------------------------" << endl;
	rmd.Read_Mnist_Labels(filename_test_labels, vec_test_labels);			//读取test labels
	cout << "-----------------------------" << endl;
	rmd.Save_Mnist_Images(save_test_image_path, vec_test_images, vec_test_labels);	//保存test_images

	return 0;
}
其它两个文件的代码就不贴出了,如需请自行下载: 读取mnist数据集并保存成图片
代码运行效果如下:
(超详细)读取mnist数据集并保存成图片_第1张图片

最后图片保存的结果如下:
文件命名格式:
如 0_00001.jpg:0表示对应图片的内容,即标签;00001表示标签为0的图片中第1张图片,00002为第2张图片,以此类推........
(超详细)读取mnist数据集并保存成图片_第2张图片


参考:http://m.blog.csdn.net/sysushui/article/details/53257185
            https://github.com/fengbingchun/NN_Test/blob/master/demo/DatasetToImage/funset.cpp       

你可能感兴趣的:(深度学习)