论文解读：Interactive Boundary Prediction for Object Selection

创新点

• 不同于现有的region-based交互式分割方法，该工作是boundary-based（主动控制物体的边界，参考active contour和intelligent scissor）。
• 采用 high-level 的语义信息（from deep learning）+ user interactions（比如在边界上click）来预测边界。设计encoder-decoder的框架（其实就是DeepISeg框架，输入是原始图像和用户给出的边界交互点）来预测边界，再通过标准的geodesic path solver从上述边界得到分割结果

Motivation

• 现有的region-based交互式方法难以准确的捕获物体边界，尤其是对于具有复杂纹理的细长状物体和低对比度的边界。因此boundary-based交互式方法是highly desired。
  
• 但是现有的boundary-based交互式方法由于依赖于low-level image feature，因此导致需要大量手工交互。因此考虑采用 high-level semantic image information，而且要对user intention具有一定的适应性（如Fig.2）。计算得到的boundary map需要自适应的针对user interactions调整。
  

算法流程

workflow

传统的boundary-based交互式分割算法：给定一张图和一系列边界控制点，边界分割基于 low-level 的 feature map 计算控制点之间的能量最小路径，作为边界分割结果。
在这篇文章提出的工作中，这里采用的feature map 其实是边界预测网络得到的 boundary map (原文其实这边一直有歧义…)，通过这种方法使得 feature map 具有 high-level semantic information，而且能够自适应于用户的交互。接着将网络输出的 boundary map 作为最小路径算法输入来获得 object boundary。
Note: 其实整个交互式分割的框架还是传统的 boundary-based 框架，只不过这里采用网络输出结果作为 feature map。因此如何设计网络得到 boundary map (feature map) 是文章的重点。

交互适应的边界预测网络 (Interaction-Adaptive Boundary Prediction Network)

1. 框架可以参考 Ning Xu 的 DeepISeg 框架，输出为 Sigmoid 之后的 [0,1] 之间的值。这里不细说。
   
2. Loss function
   
   损失函数有三个部分：全局边界损失，局部选择损失，和分割损失。
   
   
   

总结

其实这边文章主要创新点就是一种新的思路- boundary-based interactive segmentation。技术创新其实就是来源于之前的 DeepISeg 和传统的 boundary-based interactive segmentation 框架。文章其实对于 boundary map 作为 feature map，然后套在传统的 boundary-based interactive segmentation 框架中用 geodesic path solver 得到精细分割结果，这部分阐述并不是很清晰。不过实验部分很精彩，各种角度论证而且又 noise user interactions 的实验。