最近在阅读CNNvisualconvolutionnetwork论文，希望能使用caffe实现CNN的各层特征可视化，而不仅限于绘制网络结构图或者损失曲线图，所以查阅caffe官方教程和相关博客后，对caffe自带的分类例程00-classification.ipynb进行了测试运行，下面进行一些程序的讲解，希望能加强理解。PS：caffe实现可视化借助jupyternotebook这样强大的网页

一般来说我们通常都是需要在一些特定的领域里来识别分类，比如服装类、标志等等，但是深度学习中数据集的准备一直是最令人头疼的一件事。我们很难拿到大量的数据。在这种情况下重新训练的一个新的网络是比较复杂，且参数也不好调整，因此数据集为图像时，通过fine-tuning微调是一个比较理想的选择。Fine-tuning的整体思路就是，ImageNet是一个千万级的图像数据库，现已经在ImageNet上训练了

LeNetMNIST实例MNIST手写数字数据库是另外一个更大的手写体数据库NIST的子集，现在已成为图像识别领域用来测试自己的算法的一个基准数据库，它的训练集由60000张手写数字图片样本组成，测试集包含了10000个样本，其中所有的图片样本都经过了尺寸标准化和中心化，图片的大小固定为28*28。据说该数据集中的图片是由美国中学生手写的数字，所以非常贴近实际，如果你的模型在该测试集上的测试精度能

caffe-mnist实例的官方链接http://caffe.berkeleyvision.org/gathered/examples/mnist.html1、在安装成功caffe的基础上运行mnist实例2、准备数据首先需要从MNIST网站上下载和改变数据格式，运行一下命令cdCAFFEROOT./data/mnist/getmnist.sh./examples/mnist/createmnis

符号说明lr：LearningRate，学习率te：TrainingEpochs，训练迭代次数z：变量初始化为0t：变量初始化为标准截断正态分布的随机数最终准确率比较可以看到：学习率为0.01，迭代次数为50次，并且采用随机初始化方式时准确率远远低于其他方式，甚至不足90%。而学习率为0.1，迭代次数为50次，并且采用随机初始化的方式时准确率最高。对于采用随机初始化的方式，在其他参数相同的情况下增

这一部分记录下如何用caffe训练自己的数据集,这里使用AlexNet的网络结构。该结构及相应的solver文件在CAFFE/models/bvlc_alexnet目录下，使用train_val.prototxt和solver.prototxt两个文件首先，在$CAFFE/examples/imagenet下面创建自己的文件夹，myimage,因为原始的Imagenet数据集太大，我们这里使用自己

caffe的mnist训练起来挺方便，但是怎么进行预测呢？参考：http://blog.csdn.net/l691899397/article/details/52233454http://www.jianshu.com/p/9644f7ec0a03http://www.jianshu.com/p/9e30328a0a71理论可以参考一下第一个博客，也可以看看论文。我认为进行预测两个关键的步骤是：

faster-rcnn：FastRegion-basedConvolutionalNeuralNetworks基于区域的卷积神经网络http://blog.csdn.net/column/details/ym-alanyannick.html先感谢敖川学长给我提供练手的电脑！前面都学习CNN在图像分类上的巨大优势和应用，但是要把CNN用作目标检测改怎么实现，困扰了我很久。学了几天先作个笔记。在Fa

今天总结一下搜到的一些知识：感谢http://blog.csdn.net/roslei/article/details/52807699http://blog.csdn.net/u013066730/article/details/53764155http://blog.csdn.net/qq_26898461/article/details/50445392卷积神经网络（CNN）中的一些特殊层B

实例：添加一个sin层主要过程：头文件：include/caffe/layers/your_layer.hpp层定义：src/caffe/layers/your_layer.cpp和src/caffe/layers/your_layer.cu[可选]测试文件：test/test_your_layer.cpp在build文件夹下进行测试头文件定义在caffe_root/include/caffe/l

1、caffemodel和solverstateAnyexamplesofusing.solverstatewithpythoninterfaceCaffe的配置文件校验实现分析2、scale和bias层ScaleandBiasLayersAddScalarLayertomultiplytwoBlobswithbroadcasting3、random_seedrandom_seeddoesntcr

笔记（三）：用Caffe已有的网络模型训练自己的数据文章目录1.准备数据2.生成LMDB文件3.生成均值文件4.用预训练模型进行训练5.绘制loss曲线6.训练问题记录1）loss不下降2）测试报错1.准备数据1）再划分训练数据这里使用的是kaggle的二分类数据集：cat&dog，cat和dog的train包内各有12500张图片，将图像分为两批：训练数据（train）和验证数据（val），一般

笔记（一）：Caffe训练中用到的一些关键文件，以及这些文件的内容和作用。文章目录1.train.prototxt文件1.1数据层1.2卷积层1.3池化层1.4激活层1.5全连接层1.6损失函数层1.7BN层1.8Dropout层1.9准确率层2.solver.prototxt文件Caffe训练模型时，需要两个文件：train.prototxt和solver.prototxt，其中：train.p

推荐一个关于caffe的博客，非常优秀：Caffe学习笔记。各项内容都写的非常详细。

caffe提供了相关的脚本，我们只需要打开对里面的某些某块进行编写就可以了打开.sh文件进行配置首先是EXAMPLES和DATA两个选项，一般情况下我们制作项目都是新建一个文件夹，然后将相关的layer层和solver配置文件都放到这个文件夹下，那么这时候对应的这两个选项就是填入这个文件夹了TOOLS，caffe的文件夹中的/caffe/build/tools，那么我们只需要填写前面的绝对路径，也

layer{name:“conv1”type:“Convolution”top:“conv1”bottom:“data”#跟数据层的输出相对应，表示输入的数值的属性，因为在数据层中输出的是data属性，卷积层连接的是数据层，故是dataparam{lr_mult:1#对权重参数的定义，W，最终的学习率是solver.prototxt中的base_lr乘以W}param{lr_mult:2#对偏置参

手写体识别基本是caffe入门的必修课，caffe官方教程最为正宗，在此给出官方教程链接：http://caffe.berkeleyvision.org/gathered/examples/mnist.html另外有大神已经进行了详细翻译，在此附上链接，就不再进行重复编写。https://blog.csdn.net/real_myth/article/details/52743407另外为了更好的

一、准备数据1.得到文件列表清单2.转换成Lmdb格式在caffe中经常使用的数据类型是lmdb或leveldb，因此需要将原始图片文件转化为能够运行的db文件。在caffe中存在convert_imageset.cpp，存放在根目录下的tools文件夹下。编译之后，生成对应的可执行文件放在buile/tools/下面，这个文件的作用就是用于将图片文件转换成caffe框架中能直接使用的db文件。命

Fine-tuning一个预训练的网络用作风格识别在这个例子中，我们将探索一种在实际生活中特别有用方法：使用一个预训练的模型并且在自己的数据上Fine-tune参数Fine-tune的好处就不说了，大家自己查找。下面讲一讲Fine-tune的步骤。首先我们要准备数据，包括如下几步（1）：使用脚本获取预训练的模型（2）：下载用于演示的Flickr样式的子集（3）：将下载的数据转化为caffe可以使用

1、数据准备之前的博客中已经对mnist数据集进行过介绍，这里我们直接将保存好的图片拿过来处理。数据分成了训练集（60000张共10类）和测试集（共10000张10类），将每个类别放在一个单独的文件夹里。并且将所有的图片，都生成了txt列表清单（train.txt和test.txt)。为节约时间，这里直接下载denny分享的数据集：http://pan.baidu.com/s/1pLMV4Kz在c

编写caffe网络模型文件的时，有layer与layers两种方式，其不同之处主要在于网络类型type的定义方式不同，例如定义type为hdf5数据类型时，其定义方式如下。1.使用layerlayer{name:"data"type:"HDF5Data"top:"data"top:"label"hdf5_data_param{source:"examples/hdf5_classification

写在前面：小白入门深度学习框架caffe，其间遭遇各种Checkfailed，特做整理汇总。问题大多都可以在网上找到原因，没有的则通过阅读源码解决（建议遇到问题找到源码，大多有提示）。1.Checkfailed:net_->num_intputs()==1Networkshouldhaveexactlyoneintput原因：使用train_val.prototxt而未使用deploy.deplo

配置：win7_64bit+VS2013准备工作：下载微软官方提供的caffe安装包，下载地址：https://github.com/Microsoft/caffe，下载完毕解压到目标文件夹即可，笔者放置在E盘根目录中。一、修改配置文件打开E:\caffe-master\caffe-master\windows，找到CommonSettings.props.example文件复制（原文件作为备份）

寻找最优解策略往往lossfunction是非凸的，没有解析解，我们需要通过优化方法来求解。caffe提供了六种优化算法来求解最优参数，在solver配置文件中，通过设置type类型来选择。StochasticGradientDescent(type:“SGD”),AdaDelta(type:“AdaDelta”),AdaptiveGradient(type:“AdaGrad”),Adam(typ

caffe相关代码注释：https://github.com/QueenJuliaZxx/Caffe1、求解器Solver目的：让损失函数达到全局最小；特性：负责记录优化过程，创建用于学习的训练网络和用于评估学习效果的测试网络；调用Forward-->调用Backword-->更新权值，反复迭代优化模型；周期性地评估测试网络；在优化过程中为模型、求解器状态打快照；为了让权值从初始化状态向更好的模型

运行caffe例程前，详见原始数据转换为LMDB格式，训练网络时需要由数据读取层（DataLayer）不断从LMDB读取数据，送入后续卷积，下采样等层。1、数据读取层DataLayer：DataLayer是Layer的派生类，可以读取LMDB、LEVELDB,还可以从原始图像直接读取ImageDataLayer；（1）数据结构描述（2）数据读取层实现声明：include/caffe/data_la

Caffe数据结构一、基本概念二、Blob：Caffe的基本存储单元blob：四维数组，维度从低到高（width_，height_,channels_,num_）；用于存储和交换数据；存储数据或者权值（data）和权值增量（diff）；提供统一的存储器接口，持有一批图像或其他数据、权值、权值更新值；进行网络计算时，每层的输入、输出都需要通过Blob对象缓冲。（1）基本用法可自动同步CPU/GPU上

Caffe代码梳理1、caffe目录结构2、caffe阅读路线：src/caffe/proto/caffe.proto了解基本数据结构内存对象和磁盘文件的一一映射，主要由ProtoBuffer工具完成；include头文件理解整个框架，从基类向派生类顺藤摸瓜；.cpp和.cu文件caffe框架不需要大改，只需要按需求派生出新的类实现即可；编写各类工具集成到caffe内部如tools下的工具；注：快

Caffe的迁移和部署1、从开发测试到生产部署：离线训练、在线识别开发：离线训练阶段数据专家选择训练数据，算法专家设计模型参数，开发专家优化和调试训练过程，得到满足发布的模型，在caffe中表现为*.caffemodel文件；部署：在线识别阶段利用发布模型到线上或者某个嵌入式平台生产机器，接入线上其他服务（存储、数据库），获取在线数据并用上述模型处理，将结果返回客户端。并且将异常结果反馈给开发阶段

Caffe依赖包解析1、ProtoBuffer:从.prototxt文件读取到内存【.proto记录了模型训练所需要的超参数（eg：solver.prototxt）】caffe中把它当做权值和模型的载体（类似于txt、bin、图形化等）；统一的参数方案都建立在这个参数描述文件.proto中，用.protoc编译即可，便于模块集成；跨语言（c++、java、python）安装路径不是系统默认路径，安

作为深度学习界的“helloworld！”，学习起来真没那么容易。接触深度学习，第一个接触的就是mnist。但是初次接触就只跑了三个脚本get_mnist.shcreate_mnist.shtrain_lenet.sh然后就结束了，对此我蒙逼了许久。因为对于caffe的整体框架不熟悉，对CNN不深入，因此感觉举步维艰。经过1个多月的沉淀终于能完整的走一遍MNIST。对于初学者，深度学习分为三步：1

准备Caffe环境【如果是其他环境下的配置就请绕道喽，我也没有专门去试一试各个环境下的配置，请谅解~】官网http://caffe.berkeleyvision.org/installation.html；首先在这里介绍一下我的硬件环境：Ubuntu14.04---------[win10远程连接ssh（putty）+VNC]：http://www.ubuntu.com/download/desk

1.深度学习DL：1.1、有监督学习、无监督学习、过拟合、训练样本、泛化、训练集、验证集、测试集这些和深度学习有关的知识需要实现明白，这里有一个深度学习的资料你们可以去下载；http://download.csdn.net/detail/julialove102123/98403291.2、相关公司及牛人和技术：Google------->GeoffreyHinton(Googlenet、Dist

转载请注明作者和出处：http://blog.csdn.net/c406495762Python版本：Python2.7运行平台：Ubuntu14.04一、前言在之前的笔记中，已经生成了训练好的mnist.cafffemodel，接下来我们就可以利用这个model做预测了。在这之前，我们还需要一个文件：deploy.prototxt。那么，就让我们从deploy.prototxt开始说起。二、de

转载请注明作者和出处：http://blog.csdn.net/c406495762Python版本：Python2.7运行平台：Ubuntu14.04一、前言深度学习的一个简单实例就是mnist手写数字识别，只要这个例子弄明白，其它的内容就可以举一反三了。之前的内容如有遗忘，可以进行回顾。使用pycaffe生成train.protxt、test.prototxt使用pycaffe生成solver

转载请注明作者和出处：http://blog.csdn.net/c406495762Python版本：Python2.7运行平台：Ubuntu14.04上几篇笔记记录了如何将图片数据转换成db(leveldb/lmdb)文件，计算图片数据的均值，train.prototxt和test.prototxt文件的编写。本篇笔记主要记录如何生成sovler文件，solver文件是训练的时候，需要用到的pr

转载请注明作者和出处：http://blog.csdn.net/c406495762Python版本：Python2.7运行平台：Ubuntu14.04一、前言了解到上一篇笔记的内容，就可以尝试自己编写python程序生成prototxt文件了，当然也可以直接创建文件进行编写，不过显然，使用python生成这个配置文件更为简洁。之前已说过cifar10是使用cifar10_quick_solver

在ubuntu中配置好环境后，运行手写体数字识别例程时，通过执行脚本./examples/mnist/create_mnist.sh把下载到的原始数据集转换为LMDB时报错了：然而我目前还不知道这个错误怎么解决？这个错误已经查出来了，因为我是在bashforwindow中运行的，因为是在windows中挂载的ubuntu所以导致文件格式不匹配。最终选择继续我的双系统之路。安装双系统的过程可谓是走过

转载请注明作者和出处：http://blog.csdn.net/c406495762Python版本：Python2.7运行平台：Ubuntu14.04最后修改时间：2017.4.20在上个笔记中，已经学会了如何使用Caffe利用作者给的脚本训练CIFAR-10数据集，得到训练好的CNN模型。但是在上个笔记中，使用的都是作者提供好的脚本文件，完全就是按照教程跑了一下提供的demo。对于自己手里的一

所有的层都具有的参数，如name,type,bottom,top和transform_param请参看我的前一篇文章：Caffe学习笔记（数据层及参数）本文只讲解视觉层（VisionLayers)的参数

参考博客编译Windows下VS2015编译caffecaffewindow10安装Caffe在window10+VS2015安装测试minist数据集CAFFE学习笔记（一）Caffe_Example

在你的训练命令后面加上下面代码：2>&1|teeyourpath/caffe.log1.tee的意思就是命令行信息重定向的命令2.2>&1的意思是错误的信息也当成标准信息输出，这样能够保证输出log信息的完整性。

理解全连接层：连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。（理解）假设最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096。如果将这个全连接层转化为卷积层：1.共有4096组滤波器2.每组滤波器含有512个卷积核3.每个卷积核的大小为7×74.则输出为1×1×4096由于每个滤波核的大小和上一层的featuremap大

1.当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。2.batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点，1）全数据集的方向能够更好的代表样本总体，确定其极值所在。2）由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。3.增大bat

Train训练（用cmdcaffe命令行）（solver.prototxt）在使用cmdcaffe时，需要默认切换到Caffe_Root文件夹下，需要使用上述命令才可以使用tools下的caffe接口，因为caffe默认都需要从根目录下面执行文件。1、训练模型，以mnist为例子（solver.prototxt）./build/tools/caffetrain-solver=examples/mn

文件夹build//所有编译好的文件存放位置analysis//存放分析数据examples//存放各种demo的文件夹，相关应用可以参考或者直接使用对应的demo和配置。 models//model文件的路径，一些训练好的model，需要更多的模型可参考modelzoo：http://caffe.berkeleyvision.org/model_zoo.htmldata//数据文件夹 matla

前言使用caffe也有一小段时间了，但是对于caffe的python接口总是一知半解，最近终于能静下心来，仔细阅读了caffe官方例程，并写下此博客。博文主要对caffe自带的分类例程00-classification.ipynb做了详细的注释，相信能加强这方面的理解。准备工作加载必要的库importnumpyasnp#加载numpyimportmatplotlib.pyplotasplt#加载m

1、下载下载：学校里面的极速之星里面有MATLAB2016（Linux）版本，就直接下载了下载后的Linux文件夹会有三个文件分别是R2016b_glnxa64_dvd1.iso、R2016b_glnxa64_dvd2.iso和Matlab2016bLinux64Crack文件夹。2、挂载首先建立挂载文件夹，本文为/home/dragon/matlab2016，然后用mount命令进行R2016b

Caffe学习笔记（三）：Caffe数据是如何输入和输出的？Caffe中的数据流以Blobs进行传输，在《Caffe学习笔记（一）：Caffe架构及其模型解析》中已经对Blobs进行了简单的介绍。

Caffe学习笔记（一）：Caffe架构及其模型解析写在前面：关于caffe平台如何快速搭建以及如何在caffe上进行训练与预测，请参见前面的文章《caffe平台快速搭建：caffe+window7+vs2013