caffe源码分析-db, io

本文主要分析下caffe的源码，io操作，以及数据库文件（如lmdb）读取。

例如，从prototxt读取网络初始化参数：

NetParameter param;
ReadNetParamsFromTextFileOrDie(path, ¶m);

bool ReadProtoFromTextFile(const char *filename, Message *proto) {
    int fd = open(filename, O_RDONLY);
    CHECK_NE(fd, -1) << "File not found: " << filename;
    FileInputStream *input = new FileInputStream(fd);
    bool success = google::protobuf::TextFormat::Parse(input, proto);
    delete input;
    close(fd);
    return success;
}

例如读取下面这个net

name: "LeNet"
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "/home/xy/caffe-master/examples/mnist/mnist_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}

将参数写为prototxt文件：

void WriteProtoToTextFile(const Message &proto, const char *filename) {
    int fd = open(filename, O_WRONLY | O_CREAT | O_TRUNC, 0644);
    FileOutputStream *output = new FileOutputStream(fd);
    CHECK(google::protobuf::TextFormat::Print(proto, output));
    delete output;
    close(fd);
}

输出网络(打印), 示例:

// read proto txt to proto class
NetParameter param;
ReadNetParamsFromTextFileOrDie(path, ¶m);

// print proto class
PrintProto(param);

函数定义如下：

void PrintProto(const Message &proto) {
    OstreamOutputStream os(&std::cout);
    google::protobuf::TextFormat::Print(proto, &os);
}

读取proto文件转化为Datum：

// read Datum from file
string datum_path = base_dir + "0.proto";
Datum datum;
ReadProtoFromBinaryFileOrDie(datum_path, &datum);

bool ReadProtoFromBinaryFile(const char *filename, Message *proto) {
    int fd = open(filename, O_RDONLY);
    CHECK_NE(fd, -1) << "File not found: " << filename;
    ZeroCopyInputStream *raw_input = new FileInputStream(fd);
    CodedInputStream *coded_input = new CodedInputStream(raw_input);
    coded_input->SetTotalBytesLimit(kProtoReadBytesLimit, 536870912);

    bool success = proto->ParseFromCodedStream(coded_input);

    delete coded_input;
    delete raw_input;
    close(fd);
    return success;
}

Datum与cv::Mat的转化:

cv::Mat DecodeDatumToCVMatNative(const Datum &datum) {
    cv::Mat cv_img;
    CHECK(datum.encoded()) << "Datum not encoded";
    const string &data = datum.data();
    std::vector vec_data(data.c_str(), data.c_str() + data.size());
    cv_img = cv::imdecode(vec_data, -1);
    if (!cv_img.data) {
        LOG(ERROR) << "Could not decode datum ";
    }
    return cv_img;
}

void CVMatToDatum(const cv::Mat &cv_img, Datum *datum) {
    datum->set_channels(cv_img.channels());
    datum->set_height(cv_img.rows);
    datum->set_width(cv_img.cols);
    datum->clear_data();
    datum->clear_float_data();
    datum->set_encoded(false);
    int datum_channels = datum->channels();
    int datum_height = datum->height();
    int datum_width = datum->width();
    int datum_size = datum_channels * datum_height * datum_width;
    std::string buffer(datum_size, ' ');
    for (int h = 0; h < datum_height; ++h) {
        const uchar *ptr = cv_img.ptr(h);
        int img_index = 0;
        for (int w = 0; w < datum_width; ++w) {
            for (int c = 0; c < datum_channels; ++c) {
                int datum_index = (c * datum_height + h) * datum_width + w;
                buffer[datum_index] = static_cast(ptr[img_index++]);
            }
        }
    }
    datum->set_data(buffer);
}

---

下面简要看db：

class Cursor {
public:
    Cursor() { }
    virtual ~Cursor() { }
    virtual void SeekToFirst() = 0;
    virtual void Next() = 0;
    virtual string key() = 0;
    virtual string value() = 0;
    virtual bool valid() = 0;

    DISABLE_COPY_AND_ASSIGN(Cursor);
};

    class Transaction {
    public:
        Transaction() { }
        virtual ~Transaction() { }
        virtual void Put(const string& key, const string& value) = 0;
        virtual void Commit() = 0;

    DISABLE_COPY_AND_ASSIGN(Transaction);
    };

    class DB {
    public:
        DB() { }
        virtual ~DB() { }
        virtual void Open(const string& source, Mode mode) = 0;
        virtual void Close() = 0;
        virtual Cursor* NewCursor() = 0;
        virtual Transaction* NewTransaction() = 0;

    DISABLE_COPY_AND_ASSIGN(DB);
    };

    DB* GetDB(DataParameter::DB backend);
    DB* GetDB(const string& backend);
}

DB *GetDB(const string &backend) {
    if (backend == "lmdb") {
        return new LMDB();
    }
    LOG(FATAL) << "Unknown database backend";
    return NULL;
}

caffe系列源码分析介绍

本系列深度学习框架caffe 源码分析主要内容如下：

1. caffe源码分析-cmake 工程构建:

caffe源码分析-cmake 工程构建主要内容:

自己从头构建一遍工程，这样能让我更好的了解大型的项目的构建。当然原始的caffe的构建感觉还是比较复杂(主要是cmake)，我这里仅仅使用cmake构建，而且简化点，当然最重要的是支持CLion直接运行调试（如果需要这个工程可以评论留下你的邮箱，我给你发送过去）。

2. caffe的数据内存分配类SyncedMemory， 以及类Blob数据传输的媒介.

主要内容：
caffe源码分析-SyncedMemory
caffe源码分析-Blob
其中Blob分析给出了其直接与opencv的图片相互转化以及操作，可以使得我们更好的理解Blob.

3. caffe layer的源码分析，包括从整体上说明了layer类别以及其proto定义与核心函数.

内容如下：
caffe源码分析-layer
caffe源码分析-ReLULayer
caffe源码分析-inner_product_layer
caffe源码分析-layer_factory

首先分析了最简单的layer Relu，然后在是inner_product_layer全连接层， 最后是layer_factorycaffe中 以此工厂模式create各种Layer.

4. 数据输入层，主要是多线程+BlockingQueue的方式读取数据训练：

内容如下：
caffe源码分析-BlockingQueue
caffe源码分析-InternalThread
caffe源码分析-DataReader

5. IO处理例如读取proto文件转化为网络，以及网络参数的序列化

内容如下：
caffe源码分析-DataTransformer
caffe源码分析-db, io

6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例

内容如下：

caffe c++示例（mnist 多层感知机c++训练，测试）

类似与caffe一样按照layer、solver、loss、net等模块构建的神经网络实现可以见下面这篇blog，相信看懂了这个python的代码理解caffe框架会更简单点.

神经网络python实现

---

最后如果需要cmake + CLion直接运行调试caffe的代码工程，可以评论留下你的邮箱，我给你发送过去.