超详细caffe安装与mnist、cifar-10训练测试教程

Windows下caffe安装详解(cpu +matcaffe+pycaffe)

 

 

运行环境VS2013

 

1、caffe下载:https://github.com/happynear/caffe-windows

                         或https://github.com/Microsoft/caffe

2、caffe下载后解压到指定文件夹,进入caffe的windows目录(比如,D:\caffe-master\windows),将该目录下的CommonSettings.props.example复制一个并改名为CommonSettings.props,同样还是放在当前目录下。

 

3、上面两图为原始的CommonSettings.props.example,下面两图为需要修改的CommonSettings.props。

cpu模式的配置:

CommonSettings.props.example

超详细caffe安装与mnist、cifar-10训练测试教程_第1张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第2张图片

 

CommonSettings.props

超详细caffe安装与mnist、cifar-10训练测试教程_第3张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第4张图片

 

4、点击D:\caffe-master\windows该目录下的Caffe.sln用VS2013打开。这里由于别的模块用到了libcaffe,所以,首先选择libcaffe,右键生成。成功之后,再选择整个解决方案,右键生成解决方案。

超详细caffe安装与mnist、cifar-10训练测试教程_第5张图片

 

5、点击caffe->caffe.cpp,按F5运行,生成如下界面,证明安装成功。同时在根目录下面会生成相应的exe,lib,dll等文件。

超详细caffe安装与mnist、cifar-10训练测试教程_第6张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第7张图片

 

遇到的错误解决方法:

①错误:错误       1       errorC1083: 无法打开包括文件: “pyconfig.h”: No such file or directory(..\..\src\caffe\layer_factory.cpp)         D:\NugetPackages\boost.1.59.0.0\lib\native\include\boost\python\detail\wrap_python.hpp 50     1       libcaffe

原因:python路径不对

修改为:

超详细caffe安装与mnist、cifar-10训练测试教程_第8张图片

 

②错误    298  errorC1083: 无法打开包括文件: “gpu/mxGPUArray.h”: No suchfile or directory         D:\caffe-master\matlab\+caffe\private\caffe_.cpp    16     1       matcaffe

原因:matlab版本太高,gpu相关的文件路径被改

修改前:

 

修改后:

 

③Nuget会提示下载一些东西,包括是boost,opencv2.4.10,gflags,glog,hdf5,lmdb,LevelDB,OpenBLAS,protobuf等预编译的依赖包。过程有点慢,多等会就ok。下载完成后会在caffe的同级目录生成NugetPackages的文件。

超详细caffe安装与mnist、cifar-10训练测试教程_第9张图片

 

④错误 5error MSB4062: 未能从程序集 S:\NugetPackages\OpenCV.2.4.10\build\native\\private\coapp.NuGetNativeMSBuildTasks.dll 加载任务“NuGetPackageOverlay”。未能加载文件或程序集“file:///S:\NugetPackages\OpenCV.2.4.10\build\native\private\coapp.NuGetNativeMSBuildTasks.dll”或它的某一个依赖项。系统找不到指定的文件。 请确认  声明正确,该程序集及其所有依赖项都可用,并且该任务包含实现 Microsoft.Build.Framework.ITask 的公共类。 S:\NugetPackages\OpenCV.2.4.10\build\native\OpenCV.targets 768 5libcaffe

原因:NugetPackages文件夹里的OpenCV.2.4.10的文件有误

修改:删除NugetPackages文件夹,重新生成libcaffe的解决方案。得到新的NugetPackages文件夹。(只用到CPU的情况)

⑤出现没有生成object文件的错误,双击该错误,点击确定,然后保存即可。

 

1、mnist测试(利用lenet网络)

Step1:下载mnist数据集,网址:http://yann.lecun.com/exdb/mnist/

超详细caffe安装与mnist、cifar-10训练测试教程_第10张图片

 

数据特点:

超详细caffe安装与mnist、cifar-10训练测试教程_第11张图片

 

将下载好的数据集解压至caffe-master\data\mnist目录下。

建立如图所示的文件夹

超详细caffe安装与mnist、cifar-10训练测试教程_第12张图片                                     超详细caffe安装与mnist、cifar-10训练测试教程_第13张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第14张图片

 

Step2:在caffe根目录下,新建一个create_mnist.bat,里面写入如下的脚本。然后双击该脚本运行,则在.\examples\mnist文件夹下生成lmdb文件。

超详细caffe安装与mnist、cifar-10训练测试教程_第15张图片

 

.\Build\x64\Release\convert_mnist_data.exe.\data\mnist\mnist_train_lmdb\train-images.idx3-ubyte.\data\mnist\mnist_train_lmdb\train-labels.idx1-ubyte.\examples\mnist\mnist_train_lmdb

echo.

.\Build\x64\Release\convert_mnist_data.exe.\data\mnist\mnist_test_lmdb\t10k-images.idx3-ubyte  .\data\mnist\mnist_test_lmdb\t10k-labels.idx1-ubyte.\examples\mnist\mnist_test_lmdb

pause

运行结果:

超详细caffe安装与mnist、cifar-10训练测试教程_第16张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第17张图片         超详细caffe安装与mnist、cifar-10训练测试教程_第18张图片

 

 

Step3:修改.. \examples\mnist\lenet_solver.prototxt,将最后一行改为solver_mode:CPU,

如下所示,左面为原始的,右面为修改后的。

超详细caffe安装与mnist、cifar-10训练测试教程_第19张图片    超详细caffe安装与mnist、cifar-10训练测试教程_第20张图片

 

计算均值文件:在D:\caffe-master\Build\x64\Release目录下新建bat文件mnist_mean.bat,内容如下

超详细caffe安装与mnist、cifar-10训练测试教程_第21张图片

 

compute_image_mean.exeD:\caffe-master\examples\mnist\mnist_train_lmdbD:\caffe-master\examples\mnist\mean.binaryproto

pause

在..\examples\mnist目录下得到mean.binaryproto

修改此文件夹下的训练方法lenet_train_test.prototxt的前两层,就是在原来的基础上把均值文件加进去。(左图为修改前,右图为修改后)

超详细caffe安装与mnist、cifar-10训练测试教程_第22张图片                       超详细caffe安装与mnist、cifar-10训练测试教程_第23张图片

 

Step4:在caffe根目录下建立文件train_mnist.bat,然后输入如下的脚本,

 

双击运行,就会开始训练,训练完毕后会得到相应的准确率和损失率。直到出现下面的页面时,说明训练已经完成。(Optimization Done)

超详细caffe安装与mnist、cifar-10训练测试教程_第24张图片

 

Step5:在caffe根目录下建立文件test_mnist.bat,然后输入如下的脚本,

 

Build\x64\Release\caffe.exetest --model=examples\mnist\lenet_train_test.prototxt-weights=examples\mnist\lenet_iter_10000.caffemodel

pause

双击运行,显示出来结果(准确率为0.9874,损失率为0.040711):

超详细caffe安装与mnist、cifar-10训练测试教程_第25张图片

 

MNIST训练生产的模型进行手写数字进行测试

Step1:制作手写数字样本。打开电脑画图工具,重新调整大小,点击像素,水平和竖直的值置为28。再点击保持纵横比。

超详细caffe安装与mnist、cifar-10训练测试教程_第26张图片 超详细caffe安装与mnist、cifar-10训练测试教程_第27张图片

 

将画好0到9的数字依次保存到文件夹RGBnumbers,然后用matlab软件进行格式的转换。(转换原因:画图工具中手写数字依然是三通道的RGB图像,用matlab软件将他们转换成二值图像),转换代码如下:

超详细caffe安装与mnist、cifar-10训练测试教程_第28张图片

 

所有的二值图像都将保存到指定目录下的binarybmp文件夹下。

Step2:把转换好的二值图像拷贝到D:\caffe-master\examples\mnist\

在D:\caffe-master\examples\mnist下建立标签文件synset_words.txt(注意不能有空行出现,必须是10行数字,可以打乱顺序,不一定是从小到大排序):

超详细caffe安装与mnist、cifar-10训练测试教程_第29张图片

 

调用classification.exe去识别某张图片,D: \caffe-master目录新建mnist_class.bat,输入如下脚本:

超详细caffe安装与mnist、cifar-10训练测试教程_第30张图片

 

D:\caffe-master\Build\x64\Release\classification.exe  D:\caffe-master\examples\mnist\lenet.prototxt  D:\caffe-master\examples\mnist\lenet_iter_10000.caffemodelD:\caffe-master\examples\mnist\mean.binaryprotoD:\caffe-master\examples\mnist\synset_words.txtD:\caffe-master\examples\mnist\binarybmp\0.bmp

Pause

双击运行,得到下面的结果,至此测试结束。

超详细caffe安装与mnist、cifar-10训练测试教程_第31张图片

 

2、cifar-10测试

Step1:下载cifar-10数据集,网址:http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz

然后解压到caffe-master\data\cifar10目录下。

超详细caffe安装与mnist、cifar-10训练测试教程_第32张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第33张图片

 

Step2:在caffe-master根目录下建立create_cifar10.bat文件,输入以下脚本:

 

双击后运行,在example\cifar10文件夹下产生cifar-10的训练数据和测试数据,如下图

超详细caffe安装与mnist、cifar-10训练测试教程_第34张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第35张图片   超详细caffe安装与mnist、cifar-10训练测试教程_第36张图片

 

Step3:计算图像均值

在D:\caffe-master\Build\x64\Release目录下建立cifar10_mean.bat文件,输入以下脚本:

 

于是,在D:\caffe-master\examples\cifar10目录下产生mean.binaryproto文件。

 由于我们所采用的平台没有英伟达的GPU,故只能采用CPU进行训练,所以将cifar10_quick_solver.prototxt和cifar10_quick_solver_lr1.prototxt中的solver_mode:GPU均改为solver_mode:CPU。

左图为修改前,右图为修改后:

超详细caffe安装与mnist、cifar-10训练测试教程_第37张图片         超详细caffe安装与mnist、cifar-10训练测试教程_第38张图片

超详细caffe安装与mnist、cifar-10训练测试教程_第39张图片  超详细caffe安装与mnist、cifar-10训练测试教程_第40张图片

 

Step4:训练

在D:\caffe-master目录下建立train_cifar10.bat文件,输入以下脚本:

 

上述命令执行完毕后会在D:\caffe-master\examples\cifar10下生成cifar10_quick_iter_4000.caffemodel.h5以及cifar10_quick_iter_4000.solverstate.h5两个文件,其中cifar10_quick_iter_4000.solverstate.h5将在进一步的训练中使用到,而cifar10_quick_iter_4000.caffemodel.h5模型权值文件可用于数据集的测试(此处可不用,因为还有下面更深层的训练,会生成更深层的模型权值文件cifar10_quick_iter_5000.caffemodel.h5)。

超详细caffe安装与mnist、cifar-10训练测试教程_第41张图片

 

下面将对配置文件中的内容进行简单说明或解释:

net:用于训练、预测的网络描述文件

test_iter:预测阶段迭代次数

test_interval:训练时每迭代多少次,进行一次预测

base_lrmomentumweight_delay:网络的基础学习速率、冲量和权衰量

lr_policy:学习速率的衰减策略

display:每经过多少次迭代,在屏幕上打印一次运行日志

max_iter:最大迭代次数

snapshot:每多少次迭代打印一次快照

solver_modecaffe的求解模式,根据实际情况选择GPUCPU

总结一下训练一个网络用到的相关文件:

·        1:cifar10_quick_solver.prototxt:方案配置,用于配置迭代次数等信息,训练时直接调用caffe.exe train指定这个文件,就会开始训练

·        2:cifar10_quick_train_test.prototxt:训练网络配置,用来设置训练用的网络,这个文件的名字会在solver.prototxt里指定

·        3:cifar10_quick_iter_4000.caffemodel.h5:训练出来的模型,后面就用这个模型来做分类

·        4:cifar10_quick_iter_4000.solverstate.h5:也是训练出来的,应该是用来中断后继续训练用的文件

·        5:cifar10_quick.prototxt:分类用的网络

在D:\caffe-master目录下建立train_cifar10(1).bat文件,输入以下脚本:

 

.\Build\x64\Release\caffe.exetrain --solver=D:/caffe-master/examples/cifar10/cifar10_quick_solver_lr1.prototxt --snapshot=D:/caffe-master/examples/cifar10/cifar10_quick_iter_4000.solverstate.h5

pause

双击运行得到下面的结果:

 

超详细caffe安装与mnist、cifar-10训练测试教程_第42张图片

 

在D:\caffe-master\examples\cifar10目录下创建文件synset_words.txt,并写入以下脚本:

超详细caffe安装与mnist、cifar-10训练测试教程_第43张图片

 

Step5测试:

 

在D:\caffe-master目录下建立文件test_cifar10.bat,并写入以下信息:

 

Build\x64\Release\caffe.exetest -model examples/cifar10/cifar10_quick_train_test.prototxt  -weights examples/cifar10/cifar10_quick_iter_4000.caffemodel.h5-iterations 100

pause

双击后得到预测结果:

超详细caffe安装与mnist、cifar-10训练测试教程_第44张图片

 

测试准确率为0.7147

在D:\caffe-master目录下建立文件test_cifar10(1).bat,并写入以下信息:

 

Build\x64\Release\caffe.exetest -model examples/cifar10/cifar10_quick_train_test.prototxt  -weightsexamples/cifar10/cifar10_quick_iter_5000.caffemodel.h5 -iterations 100

pause

双击后得到预测结果:

超详细caffe安装与mnist、cifar-10训练测试教程_第45张图片

 

测试准确率为0.7544

在D:\caffe-master目录下建立文件cifar10_class.bat,并写入以下信息:

 

D:\caffe-master\Build\x64\Release\classification.exeD:\caffe-master\examples\cifar10\cifar10_quick.prototxt D:\caffe-master\examples\cifar10\cifar10_quick_iter_4000.caffemodel.h5D:\caffe-master\examples\cifar10\mean.binaryprotoD:\caffe-master\examples\cifar10\synset_words.txtD:\caffe-master\examples\images\cat_gray.jpg

pause

双击后得到分类结果:

超详细caffe安装与mnist、cifar-10训练测试教程_第46张图片

 

猫的概率0.3202

在D:\caffe-master目录下建立文件cifar10_class(1).bat,并写入以下信息:

超详细caffe安装与mnist、cifar-10训练测试教程_第47张图片

 

D:\caffe-master\Build\x64\Release\classification.exeD:\caffe-master\examples\cifar10\cifar10_quick.prototxt D:\caffe-master\examples\cifar10\cifar10_quick_iter_5000.caffemodel.h5D:\caffe-master\examples\cifar10\mean.binaryproto D:\caffe-master\examples\cifar10\synset_words.txtD:\caffe-master\examples\images\cat_gray.jpg

pause

双击后得到分类结果:

超详细caffe安装与mnist、cifar-10训练测试教程_第48张图片

 

猫的概率为0.5034.

从分类结果可以看出,训练迭代次数越多,那么最后测试的准确率越高,同时分类的结果也越好。

 

 

 

 

 

你可能感兴趣的:(Caffe)