ssd网络详解之priorbox layer
ssd 网络详解之priorbox layer
本文原创，转载请注明出处：https://blog.csdn.net/dan_teng/article/details/81532013
ssd网络一大特点是，为了提高检测准确率，在不同尺度的特征图上进行预测，这种预测就需要prior box layer。
prior box 是干嘛的呢？其实非常类似于Faster R-CNN中的Anchors，就是候选框，这种候选框的选取不需要像R-CNN那样通过复杂处理产生。在ssd中，priorbox层只需要bottom层feature map的大小，就可以给出候选框。假设输入的feature map大小是W×H，生成的prior box中心就有W×H个，均匀分布在整张图上。在每个中心上，可以生成多个不同长宽比的prior box，如[1/3, 1/2, 1, 2, 3]，每个点就可以生成length_of_aspect_ratio个框，所以在一个feature map上可以生成的prior box总数是W×H×length_of_aspect_ratio。
如上图b）所示，在8x8的feature map上，每个中心点生成了4个预选框。（c）是4x4的feature map，假设（c）是（b）后面的层，prior box参数相同，那么显然，从（b）中提取的预选框更有利于小尺度对象的检出，而从（c）中提取的预选框更有利于大尺度对象的检出（4x4的feature map 只有8x8 feature map长宽的1/2，相同参数的prior box圈出的面积相同，但是两个feature map对应于相同的原图，因此4x4 feature map上相同面积映射回原图相当于圈出了更大的面积，是8x8面积的4倍）。
如上所述，SSD提取了不同尺度的feature map来做检测，大尺度特征图（较靠前的特征图）可以用来检测小物体，而小尺度特征图（较靠后的特征图）用来检测大物体。从下图可以看出，ssd网络会从6层feature map中提取特征，priorbox相应也会跟在这6层后面。
计算思路：以feature map上每个点的中点为中心（offset=0.5），生成一些列同心的prior box（然后中心点的坐标会乘以step，相当于从feature map位置映射回原图位置），最后会归一化处理
正方形prior box最小边长为min_size，最大边长为
minsize∗maxsize‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ m i n s i z e ∗ m a x s i z e
每在prototxt设置一个aspect ratio，会生成2个长方形，长宽为：
aspect_ratio‾‾‾‾‾‾‾‾‾‾‾‾√∗minsize a s p e c t _ r a t i o ∗ m i n s i z e
和
1/aspect_ratio‾‾‾‾‾‾‾‾‾‾‾‾√∗minsize 1 / a s p e c t _ r a t i o ∗ m i n s i z e
之前看过别人博客中对源码的注释，有一些含糊之处。由于本人采用不同的架构重新实现了一遍，对每个细节都要理解透，因此在下面的代码中，尽量给出详细的注释。对于默认值的解释，在代码之后放上了caffe中的定义，感兴趣的可以到文末参阅。
#include ::LayerSetUp(const vector::Reshape(const vector::Forward_cpu(const vector(std::max(top_data[d], 0.), 1.);
}
}
// 前面提到过，输出c维大小是2，第一部分存放预选框数据，第二部分存放variance
// set the variance.
top_data += top[0]->offset(0, 1);// 通过偏移拿到第二部分的地址
if (variance_.size() == 1) {
caffe_set(dim, Dtype(variance_[0]), top_data);
} else {
int count = 0;
for (int h = 0; h < layer_height; ++h) {
for (int w = 0; w < layer_width; ++w) {
for (int i = 0; i < num_priors_; ++i) {
for (int j = 0; j < 4; ++j) {
top_data[count] = variance_[j];
++count;
}
}
}
}
}
}
INSTANTIATE_CLASS(PriorBoxLayer);
REGISTER_LAYER_CLASS(PriorBox);
} // namespace caffe caffe中的定义：
// Message that store parameters used by PriorBoxLayer
message PriorBoxParameter {
// Encode/decode type.
enum CodeType {// 编码方式，与训练有关，且与最后一层detection out解码有关
CORNER = 1;
CENTER_SIZE = 2;
CORNER_SIZE = 3;
}
// Minimum box size (in pixels). Required!
repeated float min_size = 1;// 最小尺寸
// Maximum box size (in pixels). Required!
repeated float max_size = 2;// 最大尺寸
// Various of aspect ratios. Duplicate ratios will be ignored.
// If none is provided, we use default ratio 1.
repeated float aspect_ratio = 3;// 变换比例
// If true, will flip each aspect ratio.
// For example, if there is aspect ratio "r",
// we will generate aspect ratio "1.0/r" as well.
optional bool flip = 4 [default = true]; // 对每个变换比例是否再加上他们的倒数
// If true, will clip the prior so that it is within [0, 1]
optional bool clip = 5 [default = false]; // 是否裁剪到[0,1]
// Variance for adjusting the prior bboxes.
repeated float variance = 6;
// By default, we calculate img_height, img_width, step_x, step_y based on
// bottom[0] (feat) and bottom[1] (img). Unless these values are explicitely
// provided.
// Explicitly provide the img_size.
optional uint32 img_size = 7;
// Either img_size or img_h/img_w should be specified; not both.
optional uint32 img_h = 8;
optional uint32 img_w = 9;
// Explicitly provide the step size.
optional float step = 10;
// Either step or step_h/step_w should be specified; not both.
optional float step_h = 11;
optional float step_w = 12;
// Offset to the top left corner of each cell.
optional float offset = 13 [default = 0.5]; // 偏移量
optional bool reduce_boxes = 14 [default = false];
}