faster rcnn 中核心部分RPN网络的整理与理解
学习fasterrcnn检测已经有一段时间了，最近才把核心的RPN部分进行的理解和整理，理解的偏差还请各位大神指正，
RPN(RegionProposal Network)区域生成网络
1. 在五层conv，poolling，relu之后，取出conv5的输出，送给RPN网络；
layer {
name: "rpn_conv1"
type: "Convolution"
bottom: "conv5"
top: "rpn_conv1"
param { lr_mult: 1.0 }
param { lr_mult: 2.0 }
convolution_param {
num_output: 256
kernel_size: 3 pad: 1 stride: 1
weight_filler { type: "gaussian" std: 0.01 }
bias_filler { type: "constant" value: 0 }
}
}
layer {
name: "rpn_relu1"
type: "ReLU"
bottom: "rpn_conv1"
top: "rpn_conv1"
}
我们只需要一个3*3*256*256这样的一个4维的卷积核，就可以将每一个3*3的sliding window 卷积成一个256维的向量，相当于feature map每个点都是256-d。
anchors。按照尺度变换（128×128， 256*256,512*512，2:1, 1:1, 1:2）计算这256维向量每个像素的9个anchor，所谓anchors，实际上就是一组由rpn/generate_anchors.py生成的矩形。直接运行generate_anchors.py得到以下输出：
[[ -84. -40. 99. 55.]
[-176. -88. 191. 103.]
[-360. -184. 375. 199.]
[ -56. -56. 71. 71.]
[-120. -120. 135. 135.]
[-248. -248. 263. 263.]
[ -36. -80. 51. 95.]
[ -80. -168. 95. 183.]
[-168. -344. 183. 359.]]。
2.
计算每个像素256-d的9个尺度下的值，得到9个anchor，我们给每个anchor分配一个二进制的标签（前景背景）。我们分配正标签前景给两类anchor：1）与某个ground truth（GT）包围盒有最高的IoU重叠的anchor（也许不到0.7），2）与任意GT包围盒有大于0.7的IoU交叠的anchor。注意到一个GT包围盒可能分配正标签给多个anchor。我们分配负标签（背景）给与所有GT包围盒的IoU比率都低于0.3的anchor。非正非负的anchor对训练目标没有任何作用，由此输出维度为（2*9）18-d，anchor（label和概率）一共18维。
layer {
name: "rpn_cls_score"
type: "Convolution"
bottom: "rpn_conv1"
top: "rpn_cls_score"
param { lr_mult: 1.0 }
param { lr_mult: 2.0 }
convolution_param {
num_output: 18 # 2(bg/fg) *9(anchors)
kernel_size: 1 pad: 0 stride: 1
weight_filler { type: "gaussian" std: 0.01 }
bias_filler { type: "constant" value: 0 }
}
}
对前景anchor使用softmax进行分类，得到anchor类别以及softmax score。
3.
前2.）中已经计算出foreground anchors，使用bounding box regression回归得到预设anchor-box到ground-truth-box之间的变换参数，即平移（dx和dy）和伸缩参数（dw和dh），由此得到初步确定proposal。
Boundingbox regression原理http://blog.csdn.net/elaine_bao/article/details/60469036
4.
将预proposal利用feat_stride和im_info将anchors映射回原图，判断预proposal是否大范围超过边界，剔除严重超出边界的。
按照softmax score进行从大到小排序，提取前2000个预proposal，对这个2000个进行NMS(非极大值抑制)，将得到的再次进行排序，输出300个proposal。
继续：
对300个proposal进行ROIpooling提取出固定长度的特征送入全连接层
再进行softmax分类计算得分，进行boundingbox regression得到精确位置。
附上参考的连接，
http://www.cnblogs.com/zf-blog/p/7286405.html
http://lib.csdn.net/article/deeplearning/61641
http://blog.csdn.net/mllearnertj/article/details/53709766
如理解有偏差请留言指正！谢谢