Caffe源码解读(七):将图片数据转化为LMDB数据

caffe编译完成后在build/tools/目录下会生成一个convert_imageset工具,用来把图像数据转化成lmdb或者leveldb数据

convert_imageset的使用方法

第一步:创建图片文件列表清单

列表清单一般为一个txt文件,一行一张图片

第二步:执行convert_imageset

convert_imageset [FLAGS] [ROOTFOLDER/] [LISTFILE] [DB_NAME]

需要带四个参数:
FLAGS: 图片参数组,包括:

  • -gray: 是否以灰度图的方式打开图片。程序调用opencv库中的imread()函数来打开图片,默认为false
  • -shuffle: 是否随机打乱图片顺序。默认为false
  • -backend:需要转换成的db文件格式,可选为leveldb或lmdb,默认为lmdb
  • -resize_width/resize_height: 改变图片的大小。在运行中,要求所有图片的尺寸一致,因此需要改变图片大小。 程序调用opencv库的resize()函数来对图片放大缩小,默认为0,不改变
  • -check_size: 检查所有的数据是否有相同的尺寸。默认为false,不检查
  • -encoded: 是否将原图片编码放入最终的数据中,默认为false
  • -encode_type: 与前一个参数对应,将图片编码为哪一个格式:‘png’,’jpg’……

ROOTFOLDER/: 图片存放的绝对路径,从linux系统根目录开始
LISTFILE: 图片文件列表清单,一般为一个txt文件,一行一张图片
DB_NAME: 最终生成的db文件存放目录

使用举例

这里我要生成两个LMDB数据,分别用来存储训练数据和测试数据。

步骤1:生成列表清单

初始数据为jpg格式图片,label分两类female和male,female用0表示,male用1表示。train目录存放训练数据,test目录存放测试数据。文档结构如下:
Caffe源码解读(七):将图片数据转化为LMDB数据_第1张图片
使用shell命令把每个图像数据按照“相对路径+图像文件名称+空格+label”的格式生成清单文件,命令如下:

ls train/female | sed "s:^:female/:" | sed "s:$: 0:" >> t_train.txt

ls train/male | sed "s:^:male/:" | sed "s:$: 1:" >> t_train.txt

ls test/female | sed "s:^:female/:" | sed "s:$: 0:" >> t_test.txt

ls test/male | sed "s:^:male/:" | sed "s:$: 1:" >> t_test.txt

生成的训练清单文件t_train.txt如下:

female/2017030201.jpg 0
female/2017030202.jpg 0
female/2017030203.jpg 0
female/2017030204.jpg 0
female/2017030205.jpg 0
male/2017030206.jpg 1
male/2017030207.jpg 1
male/2017030208.jpg 1
male/2017030209.jpg 1
male/2017030210.jpg 1

生成的训练清单文件t_test.txt如下:

female/2017030211.jpg 0
female/2017030212.jpg 0
female/2017030213.jpg 0
female/2017030214.jpg 0
female/2017030215.jpg 0
male/2017030216.jpg 1
male/2017030217.jpg 1
male/2017030218.jpg 1
male/2017030219.jpg 1
male/2017030220.jpg 1

**注意:清单中的文件路径是相对地址,相对的是convert_imageset命令的参数ROOTFOLDER。**ROOTFOLDER是个绝对地址。

步骤2:转化成LMDB

convert_imageset --resize_width=40 --resize_height=40 /home/chuwanxing/test_samples/caffe/data/train/ ./t_train.txt ./t_train_lmdb

这里指定了ROOTFOLDER为/home/chuwanxing/test_samples/caffe/data/train/,清单文件t_train.txt,生成的lmdb文件t_train_lmdb。通过–resize调用opencv把数据大小统一成40×40。

这样就完成了训练数据的转化,训练数据同样的操作,不赘述。

你可能感兴趣的:(caffe学习)