如何生成HDF5文件

在使用深度学习学习图像文件的时候，如果图片文件很多，比如大几千张，或者几万张。如果将一个图片再接一个图片导入到内存中，会极大地拖慢深度学习算法运行速度。我们都有过这样的经验，如果将一个文件夹里面有几万个文件的文件夹进行复制，其速度要比将文件夹打包之后复制速度要慢很多。

为了不让IO运算（将硬件中的图片一个一个导入到内存中）成为深度学习训练速度无法提高的一个瓶颈，这里来介绍一种方法，就是将很多的文件打包成一个HDF5的文件格式，最后用深度学习算法学习的时候，直接HDF5文件中导入数据就可以。

HDF5文件介绍

HDF5是一种数据存储格式，特别适合向磁盘中存取大数据的时候使用。一个HDF5文件可以被看成一个组，包含了不同的数据集，数据集可以是图像表格等等。HDF5组结构类似于文件系统的目录层次结构，根目录再包含其他目录。节点目录里存放相应的数据集。

在这里插入图片描述

安装很简单，使用pip

pip install h5py

如何将训练数据生成HDF5文件

class HDF5DatasetWriter:
    def __init__(self, dims, outputPath, dataKey="images", bufSize=1000):
        # 如果输出文件路径存在，提示异常
        if os.path.exists(outputPath):
            raise ValueError("The supplied 'outputPath' already exists and cannot be overwritten. Manually delete the file before continuing", outputPath)

        # 构建两种数据，一种用来存储图像特征一种用来存储标签
        self.db = h5py.File(outputPath, "w")
        self.data = self.db.create_dataset(dataKey, dims, dtype="float")
        self.labels = self.db.create_dataset("labels", (dims[0],), dtype="int")

        # 设置buffer大小，并初始化buffer
        self.bufSize = bufSize
        self.buffer = {"data": [], "labels": []}
        self.idx = 0   # 用来进行计数

    
    def add(self, rows, labels):
        self.buffer["data"].extend(rows)
        self.buffer["labels"].extend(labels)
        
        # 查看是否需要将缓冲区的数据添加到磁盘中
        if len(self.buffer["data"]) >= self.bufSize:
            self.flush()

    def flush(self):
        # 将buffer中的内容写入磁盘之后重置buffer
        i = self.idx + len(self.buffer["data"])
        self.data[self.idx:i] = self.buffer["data"]
        self.labels[self.idx:i] = self.buffer["labels"]
        self.idx = i
        self.buffer = {"data": [], "labels": []}

    def storeClassLabels(self, classLabels):
        # 存储类别标签
        dt = h5py.special_dtype(vlen=str)  # 表明存储的数据类型为字符串类型
        labelSet = self.db.create_dataset("label_names", (len(classLabels),), dtype=dt)
        # 将classLabels赋值给labelSet但二者不指向同一内存地址
        labelSet[:] = classLabels

    def close(self):
        if len(self.buffer["data"]) > 0:  # 查看是否缓冲区中还有数据
            self.flush()

        self.db.close()

在这段代码中，我们定义一个类来实现文件的读取和打包并生成HDF5文件。

如何读取HDF5文件用于训练

class HDF5DatasetGenerator:

    def __init__(self, dbPath, batchSize, preprocessors = None, aug = None, binarize=True, classes=2):
        # 保存参数列表
        self.batchSize = batchSize
        self.preprocessors = preprocessors
        self.aug = aug
        self.binarize = binarize
        self.classes = classes
        # hdf5数据集
        self.db = h5py.File(dbPath)
        self.numImages = self.db['labels'].shape[0]
    
    def generator(self, passes=np.inf):
        epochs = 0
        # 默认是无限循环遍历，因为np.inf是无穷
        while epochs < passes:
            # 遍历数据
            for i in np.arange(0, self.numImages, self.batchSize):
                # 从hdf5中提取数据集
                images = self.db['images'][i: i + self.batchSize]
                labels = self.db['labels'][i: i + self.batchSize]
                
                # 检查是否标签需要二值化处理
                if self.binarize:
                    labels = np_utils.to_categorical(labels, self.classes)
                # 预处理
                if self.preprocessors is not None:
                    proImages = []
                    for image in images:
                        for p in self.preprocessors:
                            image = p.preprocess(image)
                        proImages.append(image)
                    images = np.array(proImages)

                # 查看是否存在数据增强，如果存在，应用数据增强
                if self.aug is not None:
                    (images, labels) = next(self.aug.flow(images,
                        labels, batch_size = self.batchSize))
                # 返回
                yield (images, labels)
            epochs += 1
    def close(self):
        # 关闭db
        self.db.close()

在这段代码中，我们以生成器的形式来读取HDF5文件，返回用于训练。

另外，我录制了一个视频用来演示如何将猫狗大战数据集生成HDF5文件，然后读取HDF5文件用于进行神经网络训练。对具体如何操作感兴趣的，可以看我这个视频了解一下。

对猫狗图片数据集生成HDF5文件和模型训练