[PaperNotes]Weakly Supervised Object Boundaries

https://arxiv.org/pdf/1511.07803.pdf, CVPR16的文章，马普所出品：

image.png

发现的问题

Learning based边缘检测方法需要大量像素级标注的训练数据。比如BSDS500数据集，一共才500张图。太少了。边缘检测，逐像素标注，这么多数据标起来又累又慢。

提出的方法

用bbox作为weakly supervised label，然后去学习:

is it possible to obtain object-specific boundaries without having any object boundary annotations at training time?

In this paper we focus on learning object boundaries in a weakly supervised fashion and show that high quality object boundary detection can be obtained without using any classspecific boundary annotations

实际上，整个算法流程中训练的weakly supervised edge detector，使用的label并不直接是bbox，而是利用现有的分割方法（selective search, grabcut等），在bbox里面执行边缘检测，得到它们相一致的边缘，作为weak label。

Contribution

• 引入了weakly supervised object-specific boundary detection，引入了弱监督方式下的特定物体的边界检测问题
• 在BSDS, PascalVOC12， SBD上达到SOTA，注意是超过那些使用精准像素标注label的算法

（文中第二第三个contribution说的是一个意思，就是说自己方法性能好。。也不知道为何一个performance良好能被扯成2个contribution。。）

相关工作

通用边缘检测
首先是边缘检测算法的一个发展脉络，大体是：
Canny -> gPb -> SE, OEF -> DeepEdge, N4, HFL, BNF, HED （个人觉得有分量的都加粗了）

一些分割方法也能用来改进或生成“闭合边界”：F&H，gPb-owt-ucm和MCG等。

object-specific boundaries，物体层次的边界
个人觉得主要工作是SBD数据集的提出吧。当然后来的CityScape也一样，都提供了semantic edges的标注，标注成本也更大。以及，后来的CASENet，这是后话。

弱监督学习，weakly supervised learning
用弱监督学习来做object localization/detection/semantic labelling的工作有不少的。
不过本文比较开创性的一点是：

To the best of our knowledge there is no previous work attempting to learn object boundaries in a weakly supervised fashion.

一些实验设定

baseline用的是SE和HED。SE就是Piotr Dollar（和？）的Structured Random Forest Edge Detector。HED就是Saining Xie和Zhuowen Tu的Holistically-nested Edge Detection.

算法流程

整篇文章的行文风格不是常规套路，个人觉得是因为“想法比较新颖而核心内容很少所以大篇幅加实验”导致的。anyway，看了官方slides，算法流程包含4个步骤：

image.png

其中步骤1是用现有的detector/proposer生成bbox，相对好理解；步骤2则是在bbox基础上，用多个现有的分割方法生成一致的(consensus)边缘，作为后续的weakly supervised edge detector的label：

image.png

总结

写到这里，同时看paper、slides和写笔记，总算理解了这个算法：
利用detector生成bbox -> 利用多个分割算法生成弱边缘，是它们共同预测到的结果(交集） -> 利用弱边缘训练现有的边缘检测器（比如SE, HED）->用这个弱边缘检测器评测，发现结果挺好的。

这样看来，这篇文章的算法和期待中的弱监督还是有差距，这个弱边缘还是有点强。