MATCONVNET进行FCN语义分割
CN语义分割算法已经在很多主流深度学习平台上实现了，包括Caffe、TenserFlow、MatConvNet等。这篇博客主要介绍如何在MatConvNet上运行起FCN语义分割，包括CPU和GPU版本。博主的平台是Matlab2017a+Cuda8.0。
- 下载中心
- 配置步骤
- 1.下载代码
- 2. 配置MatConvNet
- 2.1 使用CPU
- 2.2 使用GPU，CUDA加速
- 2.3 编译MatConvNet
- 3.下载数据
- 3.0 VGG-VD-16预训练模型
- 3.1 训练数据
- 3.2 预训练模型
- 4.调试训练
- 4.1 运行调试
- 4.2 预训练调试
- 测试
- 致敬
下载中心
- FCN-Paper论文：下载地址 [可选]
- MatConvNet：下载地址
- FCN-MatConvNet：下载地址
- VOC2011训练数据：下载地址[voc10]，下载地址[voc11]，下载地址[voc12]
- VOC12语义分割Benchmark：下载地址
- MatConvNet-VGG预训练模型：下载地址
- MatConvNet-FCN预训练模型：下载地址 [可选]
- Caffe FCN预训练模型：下载地址 [可选]
- CUDA加速，cuDNN运行库：下载地址 [可选]
配置步骤
1.下载代码
这里需要下载两份代码，一个是FCN的代码，另一个是MatConvNet代码，将MatConvNet中的代码放入根目录下，将文件夹名重命名为matconvnet。
2. 配置MatConvNet
2.1 使用CPU
使用CPU的话直接编译就可以了，不需要进行额外配置。（至少博主目前使用的v1.0-beta23是这样，如果你使用的版本不同最好参照官网说明）。具体编译过程参见2.3的代码
2.2 使用GPU，CUDA加速
需要有支持cuda的显卡，在英伟达官网下载cudnn库，将文件放入local文件夹下。
同时，在编译MatConvNet过程中，需要指定该文件夹，参见下面的编译代码。
2.3 编译MatConvNet
下面的脚本是博主写的，原先代码里面没用，使用enableGpu变量来控制是否编译GPU版本，每次切换平台都需要重新编译，所以有个if 1控制是否重新编译。使用GPU时注意下面的路径设置，配置好之后直接运行下面的脚本就可以了。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
clear
addpath
(
'utils'
,
'models'
,
'matconvnet/matlab'
)
;
global
enableGpu
;
enableGpu
=
true
;
vl_setupnn
(
)
;
if
1
% recompile when change patform
if
enableGpu
vl_compilenn
(
'enableGpu'
,
true
,
'enableCudnn'
,
true
,
'enableDouble'
,
false
,
.
.
.
'cudnnRoot'
,
'matconvnet/local/cudnn'
)
;
else
vl_compilenn
(
)
;
end
end
|
如果是cuda7.5及以下，直接使用官方版本的MatConvNet就可以了，博主使用cuda8.0，在使用的时候做了些修改，具体改了哪些博主也忘记了（当时跑一个跟踪demo，改的时候也没注意，反正就是名字啊，目录啊什么的，自己debug完全可以解决），后面会释出博主修改后的matconvnet。
如果出现编译错误，那么就需要自己定位错误，自己debug了，可能出现问题的原因主要有：编译环境配置（编译器，路径，cuda版本等），代码版本问题（目前博主没遇到过，因为MatConvNet在历史上有几次大变动，模型数据格式都变了，所以版本对应是可能导致问题的原因之一）等等0.0
3.下载数据
3.0 VGG-VD-16预训练模型
这里要知道，FCN是会调用VGG模型的，所以要下载 imagenet-vgg-verydeep-16.mat 模型文件，并方法./data/models/文件夹下。
3.1 训练数据
在下载中心下载数据，放入./data/archives文件夹下，并根据代码中的设置重命名：
根据选择版本的voc数据库 重命名为 VOC2010trainval.tar/ VOC2011trainval.tar /VOC2012trainval.tar
benchmark.targz 重命名为 berkeleyVoc12Segments.tar.gz
这里也可以选择直接运行fcnTrain，Matlab会自己下载，只是担心官网下载速度慢，发现使用迅雷下载速度会更快，于是建议自己下载两个数据压缩包，然后重命名，放入对应文件夹下，运行脚本时会自动检查数据并解压到对应目录。
3.2 预训练模型
如果你不想训练自己的模型，直接使用预训练好的模型（这也是MatConvNet最方便的一点），那么直接下载预训练好的模型放到./data/models/目录下即可。
4.调试训练
这一步也是最麻烦的，因为每个人遇到的问题都可能不同，所以多半时候需要自己debug，这里只提供一些个人经验了，如果有补充可以在评论区进行回复，博主可以进一步完善。
4.1 运行调试
直接运行fcnTrain()函数，这是注意其中设置的路径是否与自己设置的路径对应，第一步就是其中的VOCSetup的两个函数，其中会对数据进行解压缩处理，保证配置正确，才能定位到数据。如果提示找不到数据，那么打断点调试，看看缺了哪些数据，这些数据是否可以不要。
博主使用Matlab2017a，Cuda8.0，cudnn，硬件平台是gtx1070，后面的问题和解决仅供参考，博主在调试过程中分别遇到如下问题：
问题1：getDatasetStatistics: computing segmentation stats for training image 1 报错
错误定位到：getDatasetStatistics.m 文件 Line 9
|
1
|
lb
=
imread
(
sprintf
(
imdb
.
paths
.
classSegmentation
,
imdb
.
images
.
name
{
train
(
i
)
}
)
)
;
|
经过调试，下面这个地方，看出问题来了吧，这里把’\’替换成’\\’ 或者 ‘/’ 就可以了，否则文件是读不出来的
解决：将Line9处的代码替换为：
|
1
|
lb
=
imread
(
sprintf
(
strrep
(
imdb
.
paths
.
classSegmentation
,
'\', '
\
\'
)
,
imdb
.
images
.
name
{
train
(
i
)
}
)
)
;
|
问题2：fcnTrain(line95) 错误代码 Reference to non-existent field ‘gpus’.
错误信息：
Error in fcnTrain (line 95)
bopts.useGpu = numel(opts.train.gpus) > 0 ;
错误信息是所，opts.train没有gpus字段，那么就要从opts.train查起了，经过调试发现整个opts.train都是空的，检查了下发现可能是需要在输入参数中进行设置？然后再github上直接找到了答案
解决：trainOpts 替换为opts.train 并将Line23 修改为 opts.train = [];
问题3：和问题1一样，字符串的问题，如下图
解决：定位错误到getbatch.m Line51, 替换成如下代码：
|
1
|
labelsPath
=
sprintf
(
strrep
(
imdb
.
paths
.
classSegmentation
,
'\', '
\
\'
)
,
imdb
.
images
.
name
{
images
(
i
)
}
)
;
|
版本在不断更新，并且希望将自己的经验汇总贡献一篇教程，或者遇到了其它问题，可以在下方留言给博主。
开心的训练吧：
CPU：
直接成功
GPU：
需要再进行debug
1. 虽然编译了gpu版本的matconvnet，但是 opts.train.gpus 依然为空，最后使用的还是CPU，于是就到github去查了一下，迅速找到答案：opts.train.gpus = [1] ;
2. 然后又爆出错误：The CUDA error code was: CUDA_ERROR_ILLEGAL_ADDRESS. 继续Google，地址问题，轻松解决。
*18年2月8日补充：关于CUDA_ERROR_ILLEGAL_ADDRESS：
博主曾经采用CUDA8.0、VS2013和matconvnet-1.o-beta23测试成功（具体解决方法事后想不起来，太久远了，似乎是折腾了许久cudnn版本）
一旦牵扯到环境，问题通常都比较复（玄）杂（学），下面的引用是评论区马同学对各个环境进行的测试，最终使用GTX1070+win10调通fcn：
GTX 1070显卡 + windows10
一开始使用matconvnet-1.0-beta25.tar.gz + matlab2017b + CUDA8.0 会出现The CUDA error code was: CUDA_ERROR_ILLEGAL_ADDRESS的情况，
(1)在使用 CUDA8.0 时无论搭配哪种版本的 cudnn都无法解决这种问题，所以将CUDA8.0降为CUDA7.5,但是又会出现 Unsupported gpu architecture ‘compute_61’的情况，根据
http://blog.csdn.net/a1154761720/article/details/53395414 中的解决方法解决了。
(2)matconvnet-1.0-beta25.tar.gz编译GPU时只能用vs2015,vs2013不能使用,CUDA7.5编译又只能用vs2013.所以不能最新的matconvnet。
(3)CUDA8.0对应matlab2017，降低CUDA的版本，也就降低了matlab的版本，降为matlab2015
(4)最后的配置为
CUDA7.5 + matlab2015 + vs2013，可以直接下载别人编译好的文件
博客地址为 http://blog.csdn.net/zhjm07054115/article/details/51569450
视频以及代码的地址为 http://www.studyai.com/course/detail/64bf671f1ecf44ed9a8404a198604321
再次感谢马同学的测试和分享！
GTX1070超频到1860MHz之后，大约训练6个小时就可以出结果了，还是相当给力的。（博主训练一般就停了，6小时是根据同学训练的时间预估的）
4.2 预训练调试
上面搞定，这个就简单多了，使用预训练模型的方式有三种，根据fcnTest中的 switch case 发现三种分别是matconvnet、ModelZoo、TVG。
‘matconvnet’就是使用自己训练存储好的网络模型，以‘input’为起点
‘ModelZoo’就是使用Caffe的模型，这里我们发现目录中还有一个文件fcnTestModelZoo，如果使用matcaffe，那么可以从这个脚本开始。
‘TVG’是什么呢？我不清楚，它以’coarse’层结尾，而下载的模型是以upscore结尾的。
所以我们经过简单调试，发现需要修改的地方只有五个：
1. 修改modelPath为我们下载的模型文件
2. 修改modelFamily为 ‘TVG’
3. 修改‘TVG’结尾为‘upscore’（原先是‘coarse’），发现我们下载的模型并没有‘coarse’
4. 和训练时候一样的字符串文字，修改Line114为： labelsPath = sprintf(strrep(imdb.paths.classSegmentation, ‘\’, ‘\\’), name) ;
5. 如果使用gpu，单个GPU情况下，修改opts.gpus = [1]
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
%
experiment
and
data
paths
opts
.
expDir
=
'data/fcn32s-voc11'
;
opts
.
dataDir
=
'data/voc11'
;
%
opts
.
modelPath
=
'data/fcn32-voc11/net-epoch-50.mat'
;
opts
.
modelPath
=
'data/models/pascal-fcn32s-dag.mat'
;
// Line 9
opts
.
modelFamily
=
'TVG'
;
[
opts
,
varargin
]
=
vl_argparse
(
opts
,
varargin
)
;
.
.
.
.
.
.
.
.
case
'TVG'
// Line 88
net
=
dagnn
.
DagNN
.
loadobj
(
load
(
opts
.
modelPath
)
)
;
net
.
mode
=
'test'
;
%
predVar
=
net
.
getVarIndex
(
'coarse'
)
;
predVar
=
net
.
getVarIndex
(
'upscore'
)
;
inputVar
=
'data'
;
imageNeedsToBeMultiple
=
false
;
end
|
结果存储在结果路径下面，重新运行如果不删除原先的结果文件，那么会直接显示结果而不会再训练，所以要删掉原先文件再训练。
如果要测试自己的数据，那么直接im = imread(…) 的地方修改就可以了，总之调通之后，自己看代码吧
测试
开心的运行demo吧
虽然训练时间很长，检测速度还是挺快的，检测时候大概需要3G显存