【对象检测】--- R-CNN

• 概念

  • 步骤

• 处理方法

  • Selective Search

    • 思想

  • IOU

    • 概念

    • 运用方法

  • Non-Maximum Suppression

    • 概念

    • 用途

    • 使用方法

• R-CNN存在的问题

概念

• R-CNN指的是Region with CNN feature，即将CNN中的特征区域化成一个个方框

步骤

1. 给定输入的图像
2. 由Selective Search方法给出2000个Region Proposal(物体建议候选框)(来自image)，然后经由NMS来判断出哪些建议候选框是无用的
3. 由CNN对每个Region Proposal进行Feature vector(特征向量)的提取，生成的4096维度的特征向量作为输出
4. 使用多个SVM分类器对候选框中的物体进行分类，由比较相应得分(computer score)所进行，得到一个Region-bounding-box及对应的类别

处理方法

Selective Search

思想

1. 对image执行初始化子切割，以得到多个candidate regions(候选区域)
2. 使用贪心算法递归地将相似的区域合并成更大的区域
3. 使用生成的区域来产生最终的candidate regions proposals

详细信息请看Selective Search for Object Recognition

IOU

概念

• IOU是用来评价定位精度的指标，定义了两个bounding-box的重叠程度

计算公式：IOU=(A∩B)/(A∪B)

运用方法

物体检测需要定位出物体的bounding box，对于上面的图像，我们不仅要给出狗的bounding box ，还要识别出bounding box 里面的物体是狗。假设红色框A是人工标注Ground Truth，绿色框B为建议框Region Proposal，那么就可以计算IOU了。

NMS(Non-Maximum Suppression，非极大值抑制)

概念

• NMS，即抑制非极大值的元素，亦可理解成局部的最大搜索
• 这个局部代表的是一个邻域，邻域有两个可变的参数
  1. 邻域的维数
  2. 邻域的大小

用途

在检测image中的对象时，通常由Selective Search方法会给出大量的建议复选框，我们呢需要从大量的复选框判别出哪些时有用的，哪些是无用的。即运用到了NMS方法：

运用方法

• 假设由Selective Search给出了6个建议复选框
• 对每个复选框进行CNN提取特征
• 将提取出的特征输入训练好的SVM中，由SVM分类器类别分类概率进行排序
• 记从小到大分别属于猫的概率为A,B,C,D,E,F
  1. 从概率最大的矩形框F开始，分别判断A_{E与F的重叠度IOU是否大于某个设定的阈值(一般设为0.3}0.5)
  2. 假设 D 与 F 的 IOU 超过的阈值，则丢弃 D；并标记第一个矩形框F，保留下来
  3. 再从剩下的矩形框A,B,C,E中(D被丢弃，F已经使用完毕)，选出此时概率最大的E，判断E和A,B,C的IOU值，只有IOU值大于选定的阈值，就丢弃该候选框，然后标记E是所保留的第二个候选框。
  4. 重复~重复，至找到所有被保留下来的矩形框为止

R-CNN存在的问题

• 需要对每幅图像的2000个region proposals进行分类，仍然需要花费大量时间来训练网络
• selective search是一种固定的搜索算法，不存在learn过程，可能导致糟糕的candidate region proposals