Caffe学习笔记1-安装以及代码结构

Caffe学习笔记1-安装以及代码结构

By YuFeiGan

2014-12-09 更新日期:2014-12-09

安装

按照官网教程安装，我在 OS X 10.9 和 Ubuntu 14.04 上面都安装成功了。主要麻烦在于 glog gflags gtest 这几个依赖项是google上面的需要。由于我用Mac没有CUDA，所以安装时需要设置 CPU_ONLY := 1。

如果不是干净的系统，安装还是有点麻烦的比如我在OS X 10.9上面，简直不是一般的麻烦，OS X 10.9 默认的编译器是clang，所以还要修改编译器和重行编译一大堆依赖库。这方面其实网上教程很多，涵盖了各种你可能遇到的问题，多Google下问题还是可以解决的。

目录结构

caffe文件夹下主要文件： 这表示文件夹

• data 用于存放下载的训练数据
• docs 帮助文档
• example 一些代码样例
• matlab MATLAB接口文件
• python Python接口文件
• model 一些配置好的模型参数
• scripts 一些文档和数据用到的脚本

下面是核心代码文件夹：

• tools 保存的源码是用于生成二进制处理程序的，caffe在训练时实际是直接调用这些二进制文件。
• include Caffe的实现代码的头文件
• src 实现Caffe的源文件

后面的学习主要围绕后面两个文件目录（include和src）下的代码展开

源码结构

由于include和src两个目录在层次上基本一一对应因此主要分析src即可了解文件结构。

这里顺便提到一个有意思的东西，我是在Sublime上面利用SublimeClang插件分析代码的（顺便推荐下这插件，值得花点时间装）。在配置的时候发现会有错误提示找不到”caffe/proto/caffe.pb.h”，去看了下果然没有，但编译的时候没有报错，说明是生成过后又删除了，查看Makefile文件后发现这里用了proto编译的，所以在”src/caffe/proto”下面用CMakeLists文件就可以编译出来了。

• src
  • gtest google test一个用于测试的库你make runtest时看见的很多绿色RUN OK就是它，这个与caffe的学习无关，不过是个有用的库
  • caffe 关键的代码都在这里了
    • test 用gtest测试caffe的代码
    • util 数据转换时用的一些代码。caffe速度快，很大程度得益于内存设计上的优化（blob数据结构采用proto）和对卷积的优化（部分与im2col相关）[1]。
    • proto 即所谓的“Protobuf”[2]，全称“Google Protocol Buffer”，是一种数据存储格式，帮助caffe提速。
    • layers 深度神经网络中的基本结构就是一层层互不相同的网络了，这个文件夹下的源文件以及目前位置“src/caffe”中包含的我还没有提到的所有.cpp文件就是caffe的核心目录下的核心代码了。

源码主要关系

如上所言我们现在可以知道，caffe核心中的核心是下面的文档和文件:（这部分目前不清楚的地方先参照别人的观点）

• blob[.cpp .h] 基本的数据结构Blob类[3]。
• common[.cpp .h] 定义Caffe类
• internal_thread[.cpp .h] 使用boost::thread线程库
• net[.cpp .h] 网络结构类Net
• solver[.cpp .h] 优化方法类Solver
• data_transformer[.cpp .h] 输入数据的基本操作类DataTransformer
• syncedmem[.cpp .h] 分配内存和释放内存类CaffeMallocHost，用于同步GPU，CPU数据
• layer_factory.cpp layer.h 层类Layer
• layers 此文件夹下面的代码全部至少继承了类Layer

Caffe的官方说明

根据Caffe官方文档介绍，caffe大致可以分为三层结构blob，layer，net。数据的保存，交换以及操作都是以blob的形式进行的，layer是模型和计算的基础，net整和并连接layer。solver则是模型的优化求解。

[1]: linger: 我所写的CNN框架 VS caffe
[2]: Google Protocol Buffer 的使用和原理
[3]: caffe源码简单解析——Blob（1）