MXNet Rec数据集（分类和检测）制作教程

一、概述

当下很多深度学习平台都具备计算机视觉专属的高阶API，这些API提供了常用的视觉模型及其预训练权重，极大地便利了我们的学习和实验。MXNet的GluonCV就是其中的一个例子，其只需用户送入指定格式的数据集即可开始训练和评估，这一特点可以让我们在短时间内完成一个完整的baseline模型探索。

对于GluonCV来说，我们只需要将通用格式数据集（如.rec）准备好，就可以随意尝试model_zoo中的任意视觉模型。故一个首要任务就是将自己的数据集转换为MXNet偏好的.rec二进制文件。

为了解决这个任务，MXNet官方提供了一个im2rec.py的脚本，用于生成.lst文件和.rec文件。不过这个脚本的使用稍微有些繁琐，而且版本也时有更新。此外，目标检测任务数据格式多变，往往需要自己定制生成lst文件的脚本。这些脚本的定制又涉及很多字符串处理级的细节，很容易出现bug。为了提高使用MXNet的体验，将更多时间花在模型迭代上，我将这一过程整理到了一个代码仓库中，也算是复习强化下shell命令行。

注意：本代码仓库中使用的im2rec.py为MXNet官方最新版本。

代码地址：这里，如果有帮助可以给颗☆哈！

二、功能

2.1 分类数据集转rec

分类数据集相对比较容易，只需将不同类别按照类别名字存放到多个子文件夹即可。这里以Kaggle种子分类为例：

$ tree -d PlantingSeeds
PlantingSeeds
├── Black-grass
├── Charlock
├── Cleavers
├── Common_Chickweed
├── Common_wheat
├── Fat_Hen
├── Loose_Silky-bent
├── Maize
├── Scentless_Mayweed
├── Shepherds_Purse
├── Small-flowered_Cranesbill
└── Sugar_beet

终端直接运行：

$ bash prepare_rec_clf.sh Dataset/Classification/PlantingSeeds/ seeds

即会生成一个RecDataSet的文件夹，里面存放了以"seeds"作为前缀的一系列.lst, .rec文件。对于分类任务，可以直接用im2rec.py划分train-val-test比例并生成三个rec文件。

2.2 检测数据集（VOC格式和YOLO格式）转rec

检测数据集通常要自己定制生成lst文件的脚本。在该仓库中，对于voc xml数据格式和yolo txt数据集格式的标注，我分别写了两个py脚本(get_lst_mxl.py和get_lst_txt.py)用于获取.lst文件，并用shell脚本进行了封装。

注意：由于这两种形式正好是LabelImg等工具标注出来的数据格式，故这里采用这两种形式作为例子。如果大家用LabelImg等工具标注数据集，就可以直接运行本仓库的脚本进行生成。如果遇到的标注格式稍有差异，也可以借鉴这两个脚本进行修改。

Fig. 1. lst文件格式

对于VOC格式的数据集，我的目录结构是将所有图像和同名标注xml文件放在同一个文件夹中，然后运行下面脚本：

$ bash prepare_rec_voc.sh Dataset/VOC_format/multiClasses/ voc.lst

同样，会在根目录生成一个RecDataSet的文件夹，里面存放voc.lst, voc.idx, voc.rec三个文件。

对于YOLO格式的数据集，目录结构是将图像和txt形式的标注文件分开到两个文件夹中，分别命名为images和labels。

$ bash prepare_rec_yolo.sh ./Dataset/YOLO_format/images ./Dataset/YOLO_format/labels yolo.lst

在根目录生成一个RecDataSet的文件夹，里面存放yolo.lst, yolo.idx, yolo.rec三个文件。

三、TODO

如果需要对检测数据划分train-val，可以在生成rec之前通过sklearn的train_val_split接口进行划分，非常方便。以后我会将这个流程也封装到shell脚本中。