Backpropagating Refinement Scheme for Interactive Segmentation 反向传播修正机制 (CVPR2019)

Motivation

传统的基于深度学习的交互式分割框架利用前向传播得到的结果，还是存在一定的偏差（比如交互部位在最后的分割结果中依然会被分割错）。因此提出 backpropagating refinement scheme 进行修正。
注意：这里的 backpropagating 不是用来训练模型参数的，而是用来修正 annotation map 的。

算法流程

• Training phase
  按照传统的基于深度学习的交互式分割框架训练模型。
• Testing phase
  – 1. 首先将待分割的图像和用户标注作为输入传入分割框架中进行前向传播得到初始分割结果。
  – 2. 由于初始前向传播的分割结果可能存在于用户标注不匹配的部分，因此采用反向传播修正机制 修正 interaction map (而不是对模型进行 fine-tuning)，强制结果在用户交互的部分具有正确的结果。
  – 3. 上述步骤1和步骤2交替进行，直到结果可以满意。
  

Backpropagating Refinement Scheme

• Motivation
  交互式分割框架除了输入待分割的图像之外，还需要由用户交互信息生成的 interaction map。但是 interaction map 是不完美的会导致错误的分割结果。通过 fine-tuning 模型是可以修正上述问题，但是会丢失在训练阶段所学到的知识 (这部分可以参考 neural network 的 forgetting 现象)。所以我们考虑修正初始的 interaction map (比如这里是通过 Euc-Dis 得到)。
• Goal
  通过优化 interaction map 来修正用户交互处的分割结果。
• Method
  定义了关于 interaction map 的能量项，通过最小化得到最优的 interactive map：
  
  
  
  其中包括修正能量项和惯性能量项 (可以理解为正则化作用)。
• Process
  这样的反向传播修正过程和前向传播交替进行，最后达到收敛。每次都是优化 interactive map：
  

总结

1. 从框架上看，提出的修正过程是位于 inference phase 中，和 BIF-Seg 很接近。相比于 BIF-Seg (Image-Specific Fine-Tuning)，这种方法并没有修正分割模型，而是修正 interaction map，从而得到分割结果。
2. 这个思路很有趣：修正 interactive map，然后重新进行前向传播得到结果 —— 和 BIF-Seg 完全不同的思路。BIF-Seg 利用 CRF 去直接修正分割结果，但这边是修正 Interactive map。