Caffe学习笔记1-安装以及代码结构

Caffe学习笔记1-安装以及代码结构

2014-12-09 更新日期:2014-12-09

安装

按照官网教程安装,我在 OS X 10.9 和 Ubuntu 14.04 上面都安装成功了。主要麻烦在于 glog gflags gtest 这几个依赖项是google上面的需要。由于我用Mac没有CUDA,所以安装时需要设置 CPU_ONLY := 1。

如果不是干净的系统,安装还是有点麻烦的比如我在OS X 10.9上面,简直不是一般的麻烦,OS X 10.9 默认的编译器是clang,所以还要修改编译器和重行编译一大堆依赖库。这方面其实网上教程很多,涵盖了各种你可能遇到的问题,多Google下问题还是可以解决的。

目录结构

caffe文件夹下主要文件: 这表示文件夹

  • data 用于存放下载的训练数据
  • docs 帮助文档
  • example 一些代码样例
  • matlab MATLAB接口文件
  • python Python接口文件
  • model 一些配置好的模型参数
  • scripts 一些文档和数据用到的脚本

下面是核心代码文件夹:

  • tools 保存的源码是用于生成二进制处理程序的,caffe在训练时实际是直接调用这些二进制文件。
  • include Caffe的实现代码的头文件
  • src 实现Caffe的源文件

后面的学习主要围绕后面两个文件目录(includesrc)下的代码展开

源码结构

由于includesrc两个目录在层次上基本一一对应因此主要分析src即可了解文件结构。

这里顺便提到一个有意思的东西,我是在Sublime上面利用SublimeClang插件分析代码的(顺便推荐下这插件,值得花点时间装)。在配置的时候发现会有错误提示找不到”caffe/proto/caffe.pb.h”,去看了下果然没有,但编译的时候没有报错,说明是生成过后又删除了,查看Makefile文件后发现这里用了proto编译的,所以在”src/caffe/proto”下面用CMakeLists文件就可以编译出来了。

  • src
    • gtest google test一个用于测试的库你make runtest时看见的很多绿色RUN OK就是它,这个与caffe的学习无关,不过是个有用的库
    • caffe 关键的代码都在这里了
      • test 用gtest测试caffe的代码
      • util 数据转换时用的一些代码。caffe速度快,很大程度得益于内存设计上的优化(blob数据结构采用proto)和对卷积的优化(部分与im2col相关)[1]。
      • proto 即所谓的“Protobuf”[2],全称“Google Protocol Buffer”,是一种数据存储格式,帮助caffe提速。
      • layers 深度神经网络中的基本结构就是一层层互不相同的网络了,这个文件夹下的源文件以及目前位置“src/caffe”中包含的我还没有提到的所有.cpp文件就是caffe的核心目录下的核心代码了。

源码主要关系

如上所言我们现在可以知道,caffe核心中的核心是下面的文档和文件:(这部分目前不清楚的地方先参照别人的观点)

  • blob[.cpp .h] 基本的数据结构Blob类[3]。
  • common[.cpp .h] 定义Caffe类
  • internal_thread[.cpp .h] 使用boost::thread线程库
  • net[.cpp .h] 网络结构类Net
  • solver[.cpp .h] 优化方法类Solver
  • data_transformer[.cpp .h] 输入数据的基本操作类DataTransformer
  • syncedmem[.cpp .h] 分配内存和释放内存类CaffeMallocHost,用于同步GPU,CPU数据
  • layer_factory.cpp layer.h 层类Layer
  • layers 此文件夹下面的代码全部至少继承了类Layer

Caffe的官方说明

根据Caffe官方文档介绍,caffe大致可以分为三层结构blob,layer,net。数据的保存,交换以及操作都是以blob的形式进行的,layer是模型和计算的基础,net整和并连接layer。solver则是模型的优化求解。

[1]: linger: 我所写的CNN框架 VS caffe
[2]: Google Protocol Buffer 的使用和原理
[3]: caffe源码简单解析——Blob(1)

你可能感兴趣的:(CNN,卷积神经网络)