caffe训练siamese网络（行人数据集）

参考博客：https://blog.csdn.net/gybheroin/article/details/54133556#commentsedit

环境：windows10 x64 ,caffe, cuda 10.1，cudnn 7.5

数据集：行人数据集

文件夹目录结构：

----------------------------------数据准备-------------------------------------

有两种准备数据的方法：

方法一：

按照上面的博客一步步做，自己写了个脚本处理图像，生成train.txt和test.txt，脚本如下：create_train_data_list.py

import os

import random
import glob
path="E:/dataset/Market-1501-v15.09.15/bounding_box_test" #测试图片路径

images=glob.glob(path+"/*.jpg")
print (len(images))

ft = open("./test.txt", 'w+')  #训练时修改成train.txt

#-----------------下面为正样本--------------------------

names=[]
for image in images:
    name = (image.split("\\")[-1]).split("_")[0]
    names.append(name)
names=set(names) #所有行人的标号，不重复


for name in names:
    print (name)
    sameImgs=[image for image in images if name==(image.split("\\")[-1]).split("_")[0]]  #同一个人的图片路径集合
    for times in range(10):  #随机选取10对同一个人的图片
        i = random.randint(0, len(sameImgs)-1)
        j = random.randint(0, len(sameImgs)-1)
        if i == j:
            continue
        else:
            ft.write(sameImgs[i]+" "+sameImgs[j]+"\n")

#-----------------下面为负样本--------------------------

for iter in range(2000):  #随机选取2000对不同的人
    i=random.randint(0, len(images)-1)
    j=random.randint(0, len(images)-1)
    if i==j:
        continue
    else:
        iname = (images[i].split("\\")[-1]).split("_")[0]
        jname = (images[j].split("\\")[-1]).split("_")[0]
        if iname!=jname:
            print(iname)
            ft.write(images[i]+" "+images[j]+"\n")

ft.close()

有了train.txt和test.txt文件，然后需要根据txt文件，生成leveldb格式文件：

遇到的问题及解决办法：

1、convertImgToSiamese.cpp文件的编译

如图，修改caffe下面的convert_imageset工程，将convert_imageset.vcxproj用notepad打开

查找里面的include这一行，表示要编译那个cpp文件，将其修改为我们自己写的convertImgToSiamese.cpp

然后打开caffe整个工程文件

打开之后，将convert_imageset工程名改为convertImgToSiamese，然后右键生成

在release文件夹下生成exe文件

将其复制到我们的文件夹，待后续使用

2、数据转换的命令，导致训练时无法生成sst文件，只生成5个中间文件（大小只有1k，这里的5k是正确生成的）

原因：数据转换的命令参数设置问题

作者这里用的是train/ 作为根目录，在convertImgToSiamese.cpp中，原始图像数据读取的部分，是这样的：

图像路径是根目录+一行中的图片相对路径，而我是这样的：

我的图片路径是完整的绝对路径，所以，我修改了cpp中的这部分代码,直接用txt中读取出来的路径作为图片的路径。

重新编译生成convertImgToSiamese.exe文件，写一个数据转换的脚本：

就可以看到了数据加载到datum中了:

最终正确生成的leveldb文件是这样的：

除了5个中间文件，还会生成最重要的sst文件，生成sst文件表示转换成功。

方法二(改进版)

这个方法是后来我看别人基于第一种方法改进的， 把标签也放到了每行的最后, 这样通用性更强一些, 不用在代码里去改true和false的范围，要不然每换一次数据集就要重新生成一次convertImgToSiamese.exe文件。改进后的生成train.txt和test.txt的脚本文件为：

红色框标出的就是修改过的，在每行末尾加上1或0。重新生成的train.txt为：

然后修改convertImgToSiamese.cpp文件：

直接从文件的每一行读取成对的文件名以及最后的label。

这样就可以直接将每一行中的label读取出来，加入到datum中。不用设置正例的数目来判断label，这样就算是后面增加或者减少了正负例的数量，也不用重新编译convertImgToSiamese.cpp文件了。

--------*******************************************************************************************************************************-------

如果想将图像对和label随机shuffle一下，则要做如下修改：

添加头文件，利用系统时钟时间生成随机数种子。

然后就可以看到，在将随机打乱的数据放入datum时，label也跟着打乱了：

----------------------------------网络结构-------------------------------------

有三种选择：

第一种是将一对输入数据，分别送入两个分支（一边一个数据），这两个分支结构完全一样（这就是孪生的由来），权重共享，然后使用对比损失

第二种是只分开一部分，在后面将两个分支进行合并

第三种是直接将一对输入数据整合成多通道，比如3通道到的RGB图像，两张堆叠在一起，构成一个6通道的图像，然后将6通道的图像输入一个网络，最后使用softmax得到分类结果。

我开始用的是caffe官网提供的训练mnist的siamese网络结构，其实就是第一种两个分支的结构，如下图所示

我在这个基础上做了简单的修改，变得复杂了点：

 

------------------------------------训练--------------------------------------

接下来可以训练了：

然后训练的solver.prototxt为：

但是训练时候的loss特别低，一直为0.00几这种，后面想想，可能是由于做数据的时候没有shuffle，因为不shuffle的话，datum中的数据都是所有正例放在一起，后面是所有负例，在读取一批进行训练时，基本整个一批都是同类数据，因此loss基本接近于0。然后我使用了方法二（改进后）重新生成了训练数据，结果是loss变成了从一开始loss0.12-0.15左右一直波动，训练很多轮还是这样，我怀疑是对比损失 contrastive loss function的问题。

所以我换成了第三种网络结构（单一网络+softmax）：

这时候使用方法二（改进后）重新生成的训练数据训练。结果就正常了，将训练结果可视化如图，训练loss的变化