MaskYolo_Caffe: Yolo + MaskRcnn 的Caffe实现

闲来无事，因为最近离职去香港读书。有点时间把自己做的一些关于yolo的捣鼓进行了一些总结。分享给大家，希望对大家有所帮助。主要是讲YOLO和maskRCNN进行了结合，用yolo进行人体检测的同时可以得到instance的mask和keypoints。

首先奉上github代码，MaskYolo_Caffe，其中有训练好的demo可以尝试，希望可以值得大家一玩。

 

下面是一些简单的介绍：

YOLO最初版本是由Github中关于YOLO的Caffe版本实现有很多，最初yolo出现由Redmon开发的darknet深度学习框。这个框架用纯C语言实现了视觉深度学习中常用的layers，依赖很少。但是如果想要用其他的backbone比如resenet，mobilenet这些网络的话，很难去实现。所以很多同学将YOLO移植到Caffe中，方便使用Caffe中的imagenet模型进行finetune。

 

实现的功能：Caffe-MaskYolo

• Demos for object detection, mask segmentation and keypoints recognition

• YOLO v2 (RegionLossLayer) and v3 (YoloLossLayer) are supported

• Instance Mask segmentation with Yolo

• Keypoints Recognition with yolo

• training data preparation and training

 

具体实现

YOLO的核心其实是它的Loss layer. darknet 中对应yolo v1到 v3的进化的loss layer分别是:

detection_layer.c 
region_layer.c 
yolo_layer.c

所以将YOLO移植到Caffe中最重要的就是在Caffe中实现对应的层，这里我实现了V2和V3的caffe 对应的层:

MaskYolo_Caffe/caffe-maskyolo/src/caffe/layers/region_loss_layer.cpp 
MaskYolo_Caffe/caffe-maskyolo/src/caffe/layers/yolo_loss_layer.cpp

其次，生成lmdb和数据层的实现：

在github中有详细地介绍如何生成训练使用的lmdb，不详细介绍，大概的方式就是将mask和keypoints的ground truth存在lmdb的image channel中，数据层进行解析，可以看一下数据层的形式：

name: "MobileNet"
layer {
  name: "data"
  type: "KpsBoxData"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.0078125
    mean_value: 128.0 
    mean_value: 128.0
    mean_value: 128.0
    resize_w: 320
    resize_h: 224
    jitter: 0.2
  }
  data_param {
    source: "/data/Machine_Learning/lmdb/mask_kps_lmdb"
    batch_size: 1
    backend: LMDB
    min_size_and: 0.08
    min_size_or: 0.001
  }
}

上面这两步已经实现了YOLO的caffe版本，可以进行物体检测了，下面是我如何和MaskRCNN进行结合。实际上关键点就是如何将YOLO的检测结果输出给roi_pooling层。因此我写了一个decode_rois_layer 用来将yolo的检测结果作为proposals，并输入给roi pooling 层。

Demo & Train

详见 Repo 中。