Blob类定义在Include/Caffe/Blob.h中定义,而成员函数的实现在Src/Caffe/Blob.cpp中。
Caffe 使用 blobs 结构来存储、交换和处理网络中正向和反向迭代时的数据和导数信息: blob 是 Caffe 的标准数组结构,它提供了一个统一的内存接口。blobs还具备在 CPU 与 GPU 之间具有同步处理能力。
blob本质上是一个连续存储的N维数组。blob为不同类型的数据提供统一的内存接口,比如批量图像数据、模型参数以及优化的导数。
以图像举例,blob 常规的维数为图像数量 N 通道数 K 图像高度 H *图像宽度 W。
protected:
shared_ptr data_;//存储网络中传送的普通数据
shared_ptr diff_;//存储通过计算得到的梯度
shared_ptr shape_data_;//存储blob数据空间的维度,比如图像数据N、K、H、W。
vector<int> shape_;//作用同shape_data_,这里采用向量的形式
int count_;//Blob的数据大小,即shape_各个元素相乘。比如图像数据大小为N*K*H*W
int capacity_;//Blob的数据内存空间容量capacity_,必须大于等于count_
shared_ptr是C++11标准,shared_ptr的作用有如同指针,但会记录有多少个shared_ptrs共同指向一个对象,引用计数变为0时自动被销毁。SyncedMemory在 Syncedmem.cpp中定义。
data_和diff_共享了内存同步类智能指针。
Blob类常用的成员函数,那些简单易懂的就不列出了。
inline int num_axes() const { return shape_.size(); }
作用:是返回数据有几个维度,例如图像就是N、K、H、W四个维度,返回4。
axes是“轴”的意思。“轴”在这里可以理解为维度位置,比如H的轴为2。
inline int count(int start_axis, int end_axis);
作用:计算从start_axis轴到end_axis轴的数据维度之积。比如图像数据count(1,3)就是计算K×H。
重载函数inline int count(int start_axis) ,是计算从start_axis轴到最后一个轴的维度之积。
inline int CanonicalAxisIndex(int axis_index) const {
if (axis_index < 0) {
return axis_index + num_axes();
}
return axis_index;
}
作用:指定一个典范轴,以典范轴为单位处理数据。比如图像数据N*K*H*W,一般指定K为典范轴,因为图片要一张一张处理,而K*H*W就是一张图片的数据。
作用:分别返回N、K、H、W的大小。
作用:计算指定的位置举例数据起始位置的偏移量。
作用:返回data_和diff_
template <typename Dtype>
const Dtype* Blob::cpu_data() const {
CHECK(data_);
return (const Dtype*)data_->cpu_data();//data
}
功能:返回data_的数据,data_是SyncedMemory类型的shared_ptr,不可变的数据,forward时使用。
const void* SyncedMemory::cpu_data() {
to_cpu();
return (const void*)cpu_ptr_;
}
void Blob<Dtype>::set_cpu_data(Dtype* data) {
CHECK(data);
data_->set_cpu_data(data);
}
功能:把data设置为cpu_data的地址。
Dtype* Blob::mutable_cpu_data() {
CHECK(data_);
return static_cast(data_->mutable_cpu_data());
}
功能:返回mutable_cpu_data地址,可变的数据,在更新权值等操作时使用。
功能:实现了data=data-diff操作。在CNN更新权值时会用到。
void Blob::CopyFrom(const Blob& source, bool copy_diff, bool reshape);
功能:从source 拷贝数据 , copy_diff控制是拷贝diff还是data
void Blob::FromProto(const BlobProto& proto, bool reshape);
功能:该函数主要是将权值矩阵从caffemodel中读出来。
void Blob<double>::ToProto(BlobProto* proto, bool write_diff) const;
功能:该函数定义了如何将网络训练的权值参数保存进caffemodel中,比如是否将diff_保存进caffemodel中。
caffe.pb.h:是google protocol buffer根据caffe.proto自动生成的,可以到src/caffe/proto/caffe.proto里看下caffe里面用到的各个数据的定义,比如BlobProto,Datum,NetParameter等。使用这个protocol buffer看起来确实方便,一方面可以用文本文件定义结构化的数据类型,另一方面可以生成查询效率更高、占空间更小的二进制文件
common.hpp:主要singleton化Caffe类,并封装了boost和CUDA随机数生成的函数,提供了统一的接口。
syncedmem.hpp:定义了以下的接口: