caffe学习笔记（二）——caffe结构分析

一、caffe目录结构：

• data —— 用于存放下载的训练数据
• docs —— 帮助文档
• examples —— 代码样例
• matlab —— MATLAB接口文件
• python —— PYTHON接口文件
• models —— 一些配置好的模型参数
• scripts —— 一些文档和数据会用到的脚本
• 核心代码：
  
  • tools —— 保存的源码是用于生成二进制处理程序的，caffe在训练时实际是直接调用这些二进制文件
  • include —— Caffe的实现代码的头文件
  • src —— 实现Caffe的源文
  • gtest —— google test一个用于测试的库你make runtest时看见的很多绿色RUN OK就是它，这个与caffe的学习无关，不过是个有用的库
  • caffe —— 关键代码
    
    • test —— 用gtest测试caffe的代码
    • util —— 数据转换时用的一些代码。caffe速度快，很大程度得益于内存设计上的优化（blob数据结构采用proto）和对卷积的优化（部分与im2col相关）
    • proto —— 即所谓的“Protobuf”，全称“Google Protocol Buffer”，是一种数据存储格式，帮助caffe提速
    • layers —— 深度神经网络中的基本结构就是一层层互不相同的网络了，这个文件夹下的源文件以及目前位置“src/caffe”中包含所有.cpp文件就是caffe的核心目录下的核心代码了。
• caffe最核心的代码：
  
  • blob[.cpp .h] —— 基本的数据结构Blob类
  • common[.cpp .h] ——　定义Caffe类
  • internal_thread[.cpp .h]——　使用boost::thread线程库
  • net[.cpp .h] ——　网络结构类Net
  • solver[.cpp .h] ——　优化方法类Solver
  • data_transformer[.cpp .h] ——　输入数据的基本操作类DataTransformer
  • syncedmem[.cpp .h] ——　分配内存和释放内存类CaffeMallocHost，用于同步GPU，CPU数据
  • layer[.cpp .h] ——　层类Layer
  • layers　——　 此文件夹下面的代码全部至少继承了类Layer, 从layer_factory中注册继承

---

二、 caffe的三级机构（Blobs,Layers,Nets）：

• Blobs,Layers,Nets关系概述：Caff的net比作一栋大楼，Layer是构成大楼的墙，Blob是构成墙的砖块
• 功能概括：
  
  • Blob:用于数据的保存、交换和操作，Caffe基础存储结构
  • Layer:用于模型和计算的基础
  • Net：整合连接layers

• 具体介绍：

  • Blob：是caffe中处理和传递实际数据的数据封装包。是按C风格连续储存的N维数组。

    • 常规的维度为图像数量N*通道数C*图像高度H*图像宽度W。
    • 主要变量：
      
      • shared_ptr data_;
      • shared_ptr diff_;
      • shared_ptr shape_data_;
      • vector shape_;
      • int count_;
      • int capacity_;

    • 解释：

      • shared_ptr——是一个数据boost库中的智能指针，主要用来申请内存
      • data——主要是正向传播时候用的，diff_主要是用来储存偏差（主要是反向传播的时候会用到），
      • shape_data和shape_——都是存储Blob的形状
      • count——表示Blob存储的元素个数，也就是个数通道数高度*宽度
      • capacity_——表示当前Blob的元素个数（控制动态分配）

    • 主要函数：

      • 构造函数：构造函数开辟一个内存空间来存储数据
      • reshape函数：Reshape函数在Layer中的reshape或者forward操作中来adjust dimension
      • count函数：重载很多个count()函数，主要还是为了统计Blob的容量（volume），或者是某一片（slice），从某个axis到具体某个axis的
      • shape乘积（如 “ inline int count(int start_axis, int end_axis)”）。
      • data_数据操作函数 &
        反向传播导数diff_操作函数：这一部分函数主要通过给定的位置访问数据，根据位置计算与数据起始的偏差offset，在通过cpu_data*指针获得地址
      • FromProto/ToProto数据序列化：将数据序列化，存储到BlobProto，这里说到Proto是谷歌的一个数据序列化的存储格式，可以实现语言、平台无关、可扩展的序列化结构数据格式。
      • Update函数：该函数用于参数blob的更新（weight，bias 等减去对应的导数）
      • 其他运算函数：
        
        • Dtype asum_data() const;//计算data的L1范数(所有元素绝对值之和)
        • Dtype asum_diff() const;//计算diff的L1范数
        • Dtype sumsq_data() const;//计算data的L2范数(所有元素平方和)
        • Dtype sumsq_diff() const;//计算diff的L2范数
        • void scale_data(Dtype scale_factor);//将data部分乘以一个因子
        • void scale_diff(Dtype scale_factor);//将diff部分乘一个因子

• blob实例操作：

  • 源码：

#include
#include "caffe/blob.hpp"

int main(int argc,char* argv[])
{
    //创建一个blob，维度初始化为0
    caffe::Blob<float> b;
    std::cout << "count : "<std::endl; //输出 0
    std::cout<< "Size:"<< b.shape_string() << std::endl; //输出Size:(0)
    b.Reshape(1,2,3,4); //变形 
    std::cout<< "Size : "<std::endl; //输出变形之后的描述信息  Size : 1 2 3 4 (24)
    std::cout << "count : "<std::endl;  //输出变形之后的元素总个数 24
    float* p = b.mutable_cpu_data();  //读取blob的内存地址
    for(int i=0;i//对blob的元素进行赋值
    {
        p[i]=i;
    }

    for(int n=0; n//blob的四个维度从外到里依次是：num channels height width
    {
        for(int c=0; cfor(int h=0; hfor(int w=0;wstd::cout<<"b["<"] ["<"] ["<"] ["<"] ="<std::endl;  //访问指定维度的元素
                }
            }
        }
    }

    std::cout<<"ASUM : " <std::endl;
    std::cout<<"SUMSQ : " <std::endl;
    return 0;
}

 - 编译命令：

g++ -o test_blob test_blob.cpp -lcaffe -lglog -D CPU_ONLY

（解释：-lglog这个库是谷歌的一个开源库，主要提供程序运行时的日志记录的功能，以便于调试）
- 输出结果：

 - 成员函数介绍：

     - shape_string()——用于得到一个描述blob形状的字符串，它能打印出每个维度的大小以及blob中元素总个数；例如输出：1 2
       3 4 (24)

     - count()——返回blob中各个维度元素的总个数

     - Reshape() ——修改blob的各个维度，简称变形，在这个过程中会对

     - blob的内存进行操作，变形之后，内存小了，就会把原先多余的释放，如果是内存大了，就会重新分配内存进行补充。

     - mutable_cpu_data()——读写cpu
   data，返回一个Dtype类型指针(blob是个模板类，Dtype根据定义的blob类型而决定，在本例程中就是float)，把该函数返回的内存指针赋值给一个指针，就能通过这个指针对blob的各个维度的数据进行访问修改了。

     - data_at(n,c,h,w) ——指定n,c,h,w的值，就能访问指定维度的元素

     - asum_data()——计算data的L1范数(所有元素绝对值之和)

     - sumsq_data() const;//计算data的L2范数(所有元素平方和)

---

• layer：

  • 简介：
    所有的Pooling（池化），Convolve（卷积），apply nonlinearities等操作都在这里实现。在Layer中input data用bottom,表示output data用top表示。每一层定义了三种操作setup（Layer初始化）, forward（正向传导，根据input计算output）, backward（反向传导计算，根据output计算input的梯度）。forward和backward有GPU和CPU两个版本的实现。

  • 五种衍生的layer:

    • data_layer（数据层）

      • data_layer主要包含与数据有关的文件。在官方文档中指出data是caffe数据的入口是网络的最低层，并且支持多种格式，在这之中又有5种LayerType：
        
        • DATA 用于LevelDB或LMDB数据格式的输入的类型，输入参数有source, batch_size, (rand_skip), (backend)。后两个是可选。
        • EMORY_DATA 这种类型可以直接从内存读取数据使用时需要调用MemoryDataLayer::Reset，输入参数有batch_size, channels, height, width。
        • DF5_DATA HDF5数据格式输入的类型，输入参数有source, batch_size。
        • HDF5_OUTPUT HDF5数据格式输出的类型，输入参数有file_name。
        • IMAGE_DATA 图像格式数据输入的类型，输入参数有source, batch_size, (rand_skip), (shuffle), (new_height), (new_width)。

    • 其实还有两种WINDOW_DATA, DUMMY_DATA用于测试和预留的接口,不重要。

• neuron_layer（数据的操作层）
  
  • neuron_layer实现里大量激活函数，主要是元素级别的操作，具有相同的bottom,top size。

        template Dtype>
        class NeuronLayer : public Layer<Dtype>

 - 一般的参数设置格式如下（以ReLU(修正线性单元)为）：

• loss_layer（损失层/计算网络误差层）
  可以看见调用了neuron_layers.hpp，估计是需要调用里面的函数计算Loss，一般来说Loss放在最后一层。caffe实现了大量loss function，它们的父类都是LossLayer。
• common_layer
  
  • 这一层主要进行的是vision_layer的连接
  • 声明了9个类型的common_layer，部分有GPU实现：
    
    • InnerProductLayer 常常用来作为全连接层
    • SplitLayer 用于一输入对多输出的场合（对blob）
    • FlattenLayer 将n * c * h * w变成向量的格式n * ( c * h * w ) * 1 * 1
    • ConcatLayer 用于多输入一输出的场合
    • SilenceLayer 用于一输入对多输出的场合（对layer）
    • (Elementwise Operations) 这里面是我们常说的激活函数层Activation Layers。
      
      • EltwiseLayer
      • SoftmaxLayer
      • ArgMaxLayer
      • MVNLayer

• vision_layer

  • 主要是实现Convolution和Pooling操作, 主要有以下几个类：
    
    • ConvolutionLayer 最常用的卷积操作
    • Im2colLayer 与MATLAB里面的im2col类似，即image-to-column
      transformation，转换后方便卷积计算
    • LRNLayer 全称local response normalization layer，在Hinton论文中有详细介绍ImageNet
      Classification with Deep Convolutional Neural Networks 。
    • PoolingLayer Pooling操作

• Net
  Net由一系列的Layer组成(无回路有向图DAG)，Layer之间的连接由一个文本文件描述。模型初始化Net::Init()会产生blob和layer并调用Layer::SetUp。在此过程中Net会报告初始化进程。这里的初始化与设备无关，在初始化之后通过Caffe::set_mode()设置Caffe::mode()来选择运行平台CPU或GPU，结果是相同的。

• Protocol Buffer

  • Protocol Buffer(PB)是一种轻便、高效的结构化数据存储格式，可以用于结构化数据串行化，很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。是一种效率和兼容性都很优秀的二进制数据传输格式，目前提供了 C++、Java、Python 三种语言的 API。Caffe采用的是C++和Python的API。
• 编译命令介绍：

• 解释：

  • protoc为Protocol Buffer提供的命令行编译工具。
  • —proto_path等同于-I选项，主要用于指定待编译的.proto消息定义文件所在的目录，该选项可以被同时指定多个。
  • –cpp_out选项表示生成C++代码，–java_out表示生成Java代码，–python_out则表示生成Python代码，其后的目录为生成后的代码所存放的目录。
  • path/to/file.proto表示待编译的消息定义文件。
    注：对于C++而言，通过Protocol Buffer编译工具，可以将每个.proto文件生成出一对.h和.cc的C++代码文件。生成后的文件可以直接加载到应用程序所在的工程项目中。

• Protocol Buffers参考资料：

  • Gogle官方教程
    
  • Protocol Buffer Basics: C++中文翻译（Google Protocol Buffers中文教程）
    
  • Language Guide中文翻译（Google Protocol Buffers中文教程）
    
  • Style Guide中文翻译（Google Protocol Buffers中文教程）
  • Protobuf 语法指南
    
• 参考文献：
  
  • Neural Networks and Deep Learning: 免费在线的入门教材，作者文风简洁，以非常直观方式讲解了神经网络的构建和训练，并分析网络训练中的难点，例如梯度弥散等。
  • 源码解析：
    i. http://alanse7en.github.io/
    ii. http://imbinwang.github.io/page2/