使用caffe训练数据集

目录

1 实验目的 
2 实验需求 
3 实验内容 
4 实验过程 
4.1 准备数据
4.2 创建目录
4.3 预处理（生成标签） 
4.4 转换lmdb数据格式
4.5 生成均值文件 
4.6 创建训练模型
4.7 开始训练 
5 实验问题及解决方法 

 

1 实验目的

（1） 结合Caffe平台，进一步掌握Caffe的使用流程。
（2） 进一步理解Caffe卷积神经网络定义和优化思想。
（3） 学会使用prototxt定义卷积神经网络和优化方法。
（4） 能看懂卷积神经网络的关键代码。
（5） 能独立完成卷积神经网络和优化自定义。
（6） 运行自己的数据，解决自己在实践或科研过程中要解决的计算机视觉问题。

2 实验需求

硬件准备：GPU（若使用GPU模式），此选项可选择。
软件准备：Caffe
数据准备：自己要识别的数据集

3 实验内容

使用Caffe自定义网络结构和优化方案，识别分类自己的数据集。

4 实验过程

4.1 准备数据

在网上找大巴车、恐龙、大象、鲜花和马五个图像数据集，编号分别以3,4,5,6,7开头，每个种类100张，其中80张作为训练集，20张作为测试集。因此最终训练图片400张，测试图片100张。

4.2 创建目录

训练集目录：/home/joczu/caffe-master/data/re/train
测试集目录：/home/joczu/caffe-master/data/re/val
sh文件目录：/home/joczu/caffe-master/examples/myfile

4.3 预处理（生成标签）

编写create_filelist.sh文件，使用
find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/train.txt

把每个图片的名称和上级目录名给截取出来，并分别以开头数字3,4,5,6,7作为一个种类的标签。

# /usr/bin/env sh
DATA1="/home/joczu/caffe-master/data/re"
DATA2="/home/joczu/caffe-master/data/re/train/cat"
DATA3="/home/joczu/caffe-master/data/re/train/dog"
DATA4="/home/joczu/caffe-master/data/re/val"

echo "Create train.txt..."

rm -rf $DATA1/train.txt
rm -rf $DATA1/val.txt


find $DATA2 -name Abyssinian*.jpg | cut -d '/' -f8-9 | sed "s/$/ 1/">>$DATA1/train.txt
find $DATA3 -name american_bulldog*.jpg | cut -d '/' -f8-9 | sed "s/$/ 2/">>$DATA1/tmp.txt
find $DATA4 -name Abyssinian*.jpg | cut -d '/' -f8-9 | sed "s/$/ 1/">>$DATA1/val.txt
find $DATA4 -name american_bulldog*.jpg | cut -d '/' -f8-9 | sed "s/$/ 2/">>$DATA1/tmp_val.txt

cat $DATA1/tmp.txt>>$DATA1/train.txt
cat $DATA1/tmp_val.txt>>$DATA1/val.txt
rm -rf $DATA1/tmp.txt
rm -rf $DATA1/tmp_val.txt

echo "Done.."

4.4 转换lmdb数据格式

编写creat_lmdb.sh文件，首先转换图片大小，像素均变化成256X256，再调用build/tools/convert_imageset转换图片的数据格式，生成img_test_lmdb和img_train_lmdb文件

#!/usr/bin/env sh
MY=examples/myfile

echo "Creating train lmdb..."
rm -rf $MY/img_train_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_height=256 \
--resize_width=256 \
#/data/re/train \
$MY/train.txt \
$MY/img_train_lmdb
echo "Done."

echo "Creating test lmdb.."
rm -rf $MY/img_test_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_width=256 \
--resize_height=256 \
#/data/re/val \
$MY/val.txt \
$MY/img_test_lmdb
echo "All Done."

到此数据的预处理完成。

4.5 生成均值文件

图片减去均值再训练，会提高训练速度和精度。因此，一般都会有这个操作。
caffe程序提供了一个计算均值的文件compute_image_mean.cpp，我们直接使用就可以了。

compute_image_mean带两个参数，第一个参数是lmdb训练数据位置，第二个参数设定均值文件的名字及保存路径。 运行成功后，会在 examples/myfile/ 下面生成一个mean.binaryproto的均值文件。

4.6 创建训练模型

模型就用程序自带的caffenet模型，位置在 models/bvlc_reference_caffenet/文件夹下,
将需要的两个配置文件，复制到myfile文件夹内


修改其中的solver.prototxt

net: "examples/myfile/train_val.prototxt"
test_iter: 2
test_interval: 50
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 20
max_iter: 200
momentum: 0.9
weight_decay: 0.005
solver_mode: CPU
snapshot: 200
snapshot_prefix: "examples/myfile/myfile"

100个测试数据，batch_size为50，因此test_iter设置为2，就能全cover了。在训练过程中，调整学习率，逐步变小。
相关参数解释
net: "examples/myfile/train_val.prototxt" 网络模型的路径。注意的是：文件的路径要从caffe的根目录开始，其它的所有配置都是这样。
test_iter: 2 这个要结合ｌａｙｅｒ理解，表示两层
test_interval: 50 测试间隔。也就是每训练50次，才进行一次测试
base_lr: 0.001 base_lr用于设置基础学习率，在迭代的过程中，可以对基础学习率进行调整。怎么样进行调整，就是调整的策略，由lr_policy来设置
lr_policy: "step" 如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
gamma: 0.1 上一次梯度更新的权重
stepsize: 100
display: 20 每训练２0次，在屏幕上显示一次。如果设置为0，则不显示
max_iter: 200 最大迭代次数。这个数设置太小，会导致没有收敛，精确度很低。设置太大，会导致震荡，浪费时间。
momentum: 0.9 上一次梯度更新的权重
weight_decay: 0.005 权重衰减项，防止过拟合的一个参数
solver_mode: CPU 设置运行模式。默认为GPU,如果你没有GPU,则需要改成CPU,否则会出错
snapshot: 200
snapshot_prefix: "examples/myfile/myfile"

修改train_val.protxt，只需要修改两个阶段的data层的文件目录

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "data/re/imagenet_mean.binaryproto"
  }
  data_param {
    source: "examples/myfile/imagenet_train_leveldb"
    batch_size: 256
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "data/re/imagenet_mean.binaryproto"
  }
  data_param {
    source: "examples/myfile/imagenet_val_leveldb"
    batch_size: 20
    backend: LMDB
  }
}

4.7 开始训练

在terminal中输入以下命令

接下来就是等待训练完成，训练时间大约需要1.5小时

训练到此完成，从结果可以看出训练精度为92％

生成许多中间文件。

5 实验问题及解决方法

（1） 本次实验很大的问题就是路径问题，有的地方在使用相对路径的时候需要在caffe-master目录下运行sh文件；
（2） 注意训练集、测试集、sh文件放置的相应位置，以免出现不可名状的错误；

（3） 注意设置solver.protptxt及train_val.prototxt文件的参数设置，需根据自己的训练集和测试集进行匹配；