论文解读:Interactive Boundary Prediction for Object Selection

论文解读:Interactive Boundary Prediction for Object Selection_第1张图片

创新点

  • 不同于现有的region-based交互式分割方法,该工作是boundary-based(主动控制物体的边界,参考active contour和intelligent scissor)。
  • 采用 high-level 的语义信息(from deep learning)+ user interactions(比如在边界上click)来预测边界。设计encoder-decoder的框架(其实就是DeepISeg框架,输入是原始图像和用户给出的边界交互点)来预测边界,再通过标准的geodesic path solver从上述边界得到分割结果

Motivation

  • 现有的region-based交互式方法难以准确的捕获物体边界,尤其是对于具有复杂纹理的细长状物体和低对比度的边界。因此boundary-based交互式方法是highly desired。
    论文解读:Interactive Boundary Prediction for Object Selection_第2张图片
  • 但是现有的boundary-based交互式方法由于依赖于low-level image feature,因此导致需要大量手工交互。因此考虑采用 high-level semantic image information,而且要对user intention具有一定的适应性(如Fig.2)。计算得到的boundary map需要自适应的针对user interactions调整。
    论文解读:Interactive Boundary Prediction for Object Selection_第3张图片

算法流程

论文解读:Interactive Boundary Prediction for Object Selection_第4张图片

workflow

传统的boundary-based交互式分割算法:给定一张图和一系列边界控制点,边界分割基于 low-level 的 feature map 计算控制点之间的能量最小路径,作为边界分割结果。
在这篇文章提出的工作中,这里采用的feature map 其实是边界预测网络得到的 boundary map (原文其实这边一直有歧义…),通过这种方法使得 feature map 具有 high-level semantic information,而且能够自适应于用户的交互。接着将网络输出的 boundary map 作为最小路径算法输入来获得 object boundary。
Note: 其实整个交互式分割的框架还是传统的 boundary-based 框架,只不过这里采用网络输出结果作为 feature map。因此如何设计网络得到 boundary map (feature map) 是文章的重点。

交互适应的边界预测网络 (Interaction-Adaptive Boundary Prediction Network)

  1. 框架可以参考 Ning Xu 的 DeepISeg 框架,输出为 Sigmoid 之后的 [0,1] 之间的值。这里不细说。
    论文解读:Interactive Boundary Prediction for Object Selection_第5张图片
  2. Loss function
    在这里插入图片描述
    损失函数有三个部分:全局边界损失,局部选择损失,和分割损失。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

总结

其实这边文章主要创新点就是一种新的思路- boundary-based interactive segmentation。技术创新其实就是来源于之前的 DeepISeg 和传统的 boundary-based interactive segmentation 框架。文章其实对于 boundary map 作为 feature map,然后套在传统的 boundary-based interactive segmentation 框架中用 geodesic path solver 得到精细分割结果,这部分阐述并不是很清晰。不过实验部分很精彩,各种角度论证而且又 noise user interactions 的实验。

你可能感兴趣的:(深度学习)