本文记录了在ubuntu16.04下使用py-faster-rcnn来训练自己的数据集的大致过程。
在此之前，已经成功配置过了caffe-gpu，使用的显卡是GTX1080ti，安装的cuda8.0.61+cudnn v5.1，caffe-gpu的配置过程可以参考：Ubuntu16.04配置caffe-GPU环境。
第一步：制作自己的数据集
首先，为了方便，可以将自己的训练图像名称改成PASCAL VOC格式，比如我自己的数据集共有1150张训练图像，写一个简单的python脚本将其重命名为00001.jpg～001150.jpg。
数据集的制作工具：labelImg。安装和使用方法都很简单，这里不再赘述。
第二步：clone py-faster-rcnn源代码
在bash中执行
git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git
将得到一个py-faster-rcnn文件夹。
下载后按照py-faster-rcnn中README.md中的指导，依次编译/py-faster-rcnn/lib/文件夹和/py-faster-rcnn/caffe-fast-rcnn/文件夹。
在编译/py-faster-rcnn/caffe-fast-rcnn/文件夹时出现了以下错误：
ys@ysubuntu:~/pycaffe/py-faster-rcnn/caffe-fast-rcnn$ make -j8 && make pycaffe
PROTOC src/caffe/proto/caffe.proto
CXX src/caffe/parallel.cpp
CXX src/caffe/internal_thread.cpp
...
In file included from ./include/caffe/util/device_alternate.hpp:40:0,
from ./include/caffe/common.hpp:19,
from ./include/caffe/blob.hpp:8,
from ./include/caffe/net.hpp:10,
from ./include/caffe/solver.hpp:7,
from ./include/caffe/sgd_solvers.hpp:7,
from src/caffe/solvers/nesterov_solver.cpp:3:
./include/caffe/util/cudnn.hpp: In function ‘void caffe::cudnn::createPoolingDesc(cudnnPoolingStruct**, caffe::PoolingParameter_PoolMethod, cudnnPoolingMode_t*, int, int, int, int, int, int)’:
./include/caffe/util/cudnn.hpp:127:41: error: too few arguments to function ‘cudnnStatus_t cudnnSetPooling2dDescriptor(cudnnPoolingDescriptor_t, cudnnPoolingMode_t, cudnnNanPropagation_t, int, int, int, int, int, int)’
pad_h, pad_w, stride_h, stride_w));
^
./include/caffe/util/cudnn.hpp:15:28: note: in definition of macro ‘CUDNN_CHECK’
cudnnStatus_t status = condition; \
^
In file included from ./include/caffe/util/cudnn.hpp:5:0,
from ./include/caffe/util/device_alternate.hpp:40,
from ./include/caffe/common.hpp:19,
from ./include/caffe/blob.hpp:8,
from ./include/caffe/net.hpp:10,
from ./include/caffe/solver.hpp:7,
from ./include/caffe/sgd_solvers.hpp:7,
from src/caffe/solvers/nesterov_solver.cpp:3:
/usr/local/cuda/include/cudnn.h:803:27: note: declared here
cudnnStatus_t CUDNNWINAPI cudnnSetPooling2dDescriptor(
^
Makefile:563: recipe for target '.build_release/src/caffe/solvers/nesterov_solver.o' failed
make: *** [.build_release/src/caffe/solvers/nesterov_solver.o] Error 1
make: *** Waiting for unfinished jobs....
...
make: *** [.build_release/src/caffe/parallel.o] Error 1
ys@ysubuntu:~/pycaffe/py-faster-rcnn/caffe-fast-rcnn$ make clean
ys@ysubuntu:~/pycaffe/py-faster-rcnn/caffe-fast-rcnn$
错误的原因应该是py-faster-rcnn中自带的cudnn相关文件版本太老。
解决办法参考：py-faster-rcnn安装问题总结。也就是用最新下载的caffe源代码中/caffe/include/和/caffe/src/下面所有和cudnn相关的.hpp文件和.cpp文件复制到/py-faster-rcnn/caffe-fast-rcnn/文件夹下，替换掉老版本的cudnn文件。
这样就能顺利编译/py-faster-rcnn/caffe-fast-rcnn/文件夹了。
自己的数据集放在哪儿
为了尽量少改动代码，最方便的方式是按照源代码中的PASCAL VOC数据集的放置格式，即在.../py-faster-rcnn/data/文件夹下，新建一个名为VOCdevkit2007，然后，其子文件夹的目录树如下图：
也就是在VOCdevkit2007下再建一个名为VOC2007的文件夹；然后在VOC2007下面分别建立3个文件夹：Annotations、ImageSets和JPEGImages。其中JPEGImages下面放的是训练集图片：
Annotations下面放的是自己制作的训练集图片对应的.xml标签文件：
ImageSets下面的目录如下：
其下再建一个Main文件夹，在Main文件夹下面放trainval.txt文件，trainval.txt文件内容是每张训练图片名：
下载训练好的VGG16模型
参照py-faster-rcnn的使用说明，要训练模型需要下载一个训练好的VGG16模型用于迁移学习。在py-faster-rcnn/目录下打开bash，执行：
./data/scripts/fetch_imagenet_models.sh
或者直接在进入网址：https://dl.dropbox.com/s/gstw7122padlf0l/imagenet_models.tgz?dl=0下载预训练好的VGG16模型。
下载下来后，在/py-faster-rcnn/data/文件夹下新建一个imagenet_models文件夹，将VGG16模型放进去：
修改几个地方来训练自己的数据集
修改train.prototxt和solver.prototxt
打开/py-faster-rcnn/models/pascal_voc/VGG16/faster_rcnn_end2end/train.prototxt，使用编辑器的查找替换功能，将其中的数字21替换成你自己的数据集类别数+1，将数字84替换成你自己的(数据集类别数+1)*4，这个文件中共有3处21，一处84需要替换；
在/py-faster-rcnn/models/pascal_voc/VGG16/faster_rcnn_end2end/solver.prototxt中，根据自己的实际情况修改，比如我只是的总训练迭代次数只设置了10000次，所以solver文件中，stepsize值我改成了6000。
修改pascal_voc.py
将/py-faster-rcnn/lib/datasets/pascal_voc.py中的约33行处的：
self._classes = ('__background__', # always index 0
'aeroplane', 'bicycle', 'bird', 'boat',
'bottle', 'bus', 'car', 'cat', 'chair',
'cow', 'diningtable', 'dog', 'horse',
'motorbike', 'person', 'pottedplant',
'sheep', 'sofa', 'train', 'tvmonitor')
改成自己的类别名称。
修改train_net.py
在/py-faster-rcnn/tools/train_net.py中，可以为其中的命令行参数设置默认值，这样就不用每次训练时都在命令行设置多个参数了，下面是我设置的默认值：
def parse_args():
"""
Parse input arguments
"""
parser = argparse.ArgumentParser(description='Train a Fast R-CNN network')
parser.add_argument('--gpu', dest='gpu_id',
help='GPU device id to use [0]',
default=0, type=int)
parser.add_argument('--solver', dest='solver',
help='solver prototxt',
default='models/pascal_voc/VGG16/faster_rcnn_end2end/solver.prototxt', type=str)
parser.add_argument('--iters', dest='max_iters',
help='number of iterations to train',
default=10000, type=int)
parser.add_argument('--weights', dest='pretrained_model',
help='initialize with pretrained model weights',
default='data/imagenet_models/VGG16.v2.caffemodel', type=str)
parser.add_argument('--cfg', dest='cfg_file',
help='optional config file',
default='experiments/cfgs/faster_rcnn_end2end.yml', type=str)
parser.add_argument('--imdb', dest='imdb_name',
help='dataset to train on',
default='voc_2007_trainval', type=str)
parser.add_argument('--rand', dest='randomize',
help='randomize (do not use a fixed seed)',
action='store_true')
parser.add_argument('--set', dest='set_cfgs',
help='set config keys', default=None,
nargs=argparse.REMAINDER)
if len(sys.argv) == 1:
parser.print_help()
sys.exit(1)
args = parser.parse_args()
return args
另外可能需要修改的是/py-faster-rcnn/lib/fast_rcnn/config.py中的__C.TRAIN.SNAPSHOT_ITERS参数，它确定了你的模型每训练多少次保存一次快照，源码设置的是10000，根据自己设置的最大迭代次数来合理修改(它的值当然不能大于最大迭代次数，不然训练了半天一个模型都没保存)。
训练模型
以上准备工作完成后，在/py-faster-rcnn/目录下打开bash，执行：
python ./tools/train_net.py --gpu 0
开始模型训练。
可能会遇到这个问题：
Traceback (most recent call last):
File "./tools/train_net.py", line 112, in
max_iters=args.max_iters)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 157, in train_net
pretrained_model=pretrained_model)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 51, in __init__
pb2.text_format.Merge(f.read(), self.solver_param)
AttributeError: 'module' object has no attribute 'text_format'
解决办法参考：py-faster-rcnn安装问题总结。
还可能会遇到这个问题：
Traceback (most recent call last):
File "./tools/train_net.py", line 112, in
max_iters=args.max_iters)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 161, in train_net
model_paths = sw.train_model(max_iters)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 102, in train_model
self.solver.step(1)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/rpn/proposal_target_layer.py", line 66, in forward
rois_per_image, self._num_classes)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/rpn/proposal_target_layer.py", line 191, in _sample_rois
_get_bbox_regression_labels(bbox_target_data, num_classes)
File "/home/ys/pycaffe/py-faster-rcnn/tools/../lib/rpn/proposal_target_layer.py", line 127, in _get_bbox_regression_labels
bbox_targets[ind, start:end] = bbox_target_data[ind, 1:]
TypeError: slice indices must be integers or None or have an __index__ method
解决办法参考这里。
出错原因：
可能是源代码发布的时候,numpy 是支持浮点数作为索引的,但是在 numpy1.12.0 之后,numpy 只能用整数作为索引。所以,解决办法有两种:
第一种是卸载当前的 numpy,安装回以前的 1.11.2 版本,但是同时安装的 opencv 版本也得退回老版本,因为新版本的 opencv3.1 依赖于新版本的 numpy,相同的依赖问题还有matplotlib。因此的重装回 openCV2.4.13, matplotlib1.5.1,当然这种办法比较麻烦;
第二种办法是找到使用浮点数作为 numpy 索引的相关代码,将其强制转换为 int 型:
再次运行，模型就能顺利训练了。
测试模型
修改test.prototxt
打开/py-faster-rcnn/models/pascal_voc/VGG16/faster_rcnn_end2end/test.prototxt，使用编辑器的查找替换功能，将其中的数字21替换成你自己的数据集类别数+1，将数字84替换成你自己的(数据集类别数+1)*4，这个文件中共有1处21，一处84需要替换；
修改demo.py
训练得到的模型在这里：
将其复制到/py-faster-rcnn/data/faster_rcnn_models/目录下。
然后打开demo.py，将
CLASSES = ('__background__',
'aeroplane', 'bicycle', 'bird', 'boat',
'bottle', 'bus', 'car', 'cat', 'chair',
'cow', 'diningtable', 'dog', 'horse',
'motorbike', 'person', 'pottedplant',
'sheep', 'sofa', 'train', 'tvmonitor')
改成自己的标签，将
NETS = {'vgg16': ('VGG16',
'VGG16_faster_rcnn_final.caffemodel'),
中的模型改成自己训练保存的模型。比如我修改的内容：
CLASSES = ('__background__', 'type1', 'type2', 'type3', 'type4', 'type5')
NETS = {'vgg16': ('VGG16',
'vgg16_faster_rcnn_iter_10000.caffemodel'),
将
prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0],
'faster_rcnn_alt_opt', 'faster_rcnn_test.pt')
改成
prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0],
'faster_rcnn_end2end', 'test.prototxt')
将
im_names = ['000456.jpg', '000542.jpg', '001150.jpg',
'001763.jpg', '004545.jpg']
列表中的图片名改成自己要测试的图片名称，当然首先需要将相应的图片复制到/py-faster-rcnn/data/demo/目录下。
修改完成，在/py-faster-rcnn/目录下打开bash，执行
python ./tools/demo.py
没问题的话，就能顺利看到测试结果。