Caffe源码解读(二):Blob类的源码解读

Blob类定义在Include/Caffe/Blob.h中定义,而成员函数的实现在Src/Caffe/Blob.cpp中。

作用

Caffe 使用 blobs 结构来存储、交换和处理网络中正向和反向迭代时的数据和导数信息: blob 是 Caffe 的标准数组结构,它提供了一个统一的内存接口。blobs还具备在 CPU 与 GPU 之间具有同步处理能力。

Blob实现原理

blob本质上是一个连续存储的N维数组。blob为不同类型的数据提供统一的内存接口,比如批量图像数据、模型参数以及优化的导数。
以图像举例,blob 常规的维数为图像数量 N 通道数 K 图像高度 H *图像宽度 W。

Blob类的成员变量

 protected:
  shared_ptr data_;//存储网络中传送的普通数据
  shared_ptr diff_;//存储通过计算得到的梯度
  shared_ptr shape_data_;//存储blob数据空间的维度,比如图像数据N、K、H、W。
  vector<int> shape_;//作用同shape_data_,这里采用向量的形式
  int count_;//Blob的数据大小,即shape_各个元素相乘。比如图像数据大小为N*K*H*W
  int capacity_;//Blob的数据内存空间容量capacity_,必须大于等于count_

shared_ptr是C++11标准,shared_ptr的作用有如同指针,但会记录有多少个shared_ptrs共同指向一个对象,引用计数变为0时自动被销毁。SyncedMemory在 Syncedmem.cpp中定义。

data_和diff_共享了内存同步类智能指针。

Blob类的成员函数

Blob类常用的成员函数,那些简单易懂的就不列出了。

num_axes()

inline int num_axes() const { return shape_.size(); }

作用:是返回数据有几个维度,例如图像就是N、K、H、W四个维度,返回4。
axes是“轴”的意思。“轴”在这里可以理解为维度位置,比如H的轴为2。

count()

inline int count(int start_axis, int end_axis);

作用:计算从start_axis轴到end_axis轴的数据维度之积。比如图像数据count(1,3)就是计算K×H。
重载函数inline int count(int start_axis) ,是计算从start_axis轴到最后一个轴的维度之积。

CanonicalAxisIndex()

inline int CanonicalAxisIndex(int axis_index) const {
    if (axis_index < 0) {
      return axis_index + num_axes();
    }
    return axis_index;
  }

作用:指定一个典范轴,以典范轴为单位处理数据。比如图像数据N*K*H*W,一般指定K为典范轴,因为图片要一张一张处理,而K*H*W就是一张图片的数据。

num() channels() height() width()

作用:分别返回N、K、H、W的大小。

offset()

作用:计算指定的位置举例数据起始位置的偏移量。

data() diff()

作用:返回data_和diff_

cpu_data()

template <typename Dtype>
const Dtype* Blob::cpu_data() const {
  CHECK(data_);
  return (const Dtype*)data_->cpu_data();//data
}

功能:返回data_的数据,data_是SyncedMemory类型的shared_ptr,不可变的数据,forward时使用。

const void* SyncedMemory::cpu_data() {
  to_cpu();
  return (const void*)cpu_ptr_;
}

set_cpu_data()

void Blob<Dtype>::set_cpu_data(Dtype* data) {
  CHECK(data);
  data_->set_cpu_data(data);
}

功能:把data设置为cpu_data的地址。

mutable_cpu_data()

Dtype* Blob::mutable_cpu_data() {
  CHECK(data_);
  return static_cast(data_->mutable_cpu_data());
}

功能:返回mutable_cpu_data地址,可变的数据,在更新权值等操作时使用。

Update()

功能:实现了data=data-diff操作。在CNN更新权值时会用到。

CopyFrom()

void Blob::CopyFrom(const Blob& source, bool copy_diff, bool reshape);

功能:从source 拷贝数据 , copy_diff控制是拷贝diff还是data

FromProto()

void Blob::FromProto(const BlobProto& proto, bool reshape);

功能:该函数主要是将权值矩阵从caffemodel中读出来。

ToProto()

void Blob<double>::ToProto(BlobProto* proto, bool write_diff) const;

功能:该函数定义了如何将网络训练的权值参数保存进caffemodel中,比如是否将diff_保存进caffemodel中。

blob.h中的头文件

caffe.pb.h:是google protocol buffer根据caffe.proto自动生成的,可以到src/caffe/proto/caffe.proto里看下caffe里面用到的各个数据的定义,比如BlobProto,Datum,NetParameter等。使用这个protocol buffer看起来确实方便,一方面可以用文本文件定义结构化的数据类型,另一方面可以生成查询效率更高、占空间更小的二进制文件

common.hpp:主要singleton化Caffe类,并封装了boost和CUDA随机数生成的函数,提供了统一的接口。

syncedmem.hpp:定义了以下的接口:

  • inline void CaffeMallocHost(void** ptr, size_t size)
  • inline void CaffeFreeHost(void* ptr)
    主要是分配内存和释放内存的。而class SyncedMemory定义了内存分配管理和CPU与GPU之间同步的函数。

你可能感兴趣的:(caffe学习)