图像去遮挡

1. 《Self-Supervised Scene De-occlusion》

本文最大的创新点在于自监督的训练方式。具体的,因为常用的分割数据集只有modal mask, 而没有标注好的遮挡物体Ground Truth(amodal mask), 所以作者故意将某示例随机叠加在当前示例上,人为的自主构造遮挡数据和对应遮挡mask伪标签用于训练遮挡物体重建网络。
遮挡物体重建步骤如下:

  1. 得到遮挡顺序图
  2. 根据顺序图重建amodal mask
  3. 再根据amodal mask实现内容重建
    图像去遮挡_第1张图片
    网络主体结构如下:
    训练阶段:
    PCNet-M用于重建amodal mask, 基于人为自主构造的遮挡数据标签对。两个case的结合训练是为了实现准确填充。
    PCNet-C用于实现内容重建,完成遮挡物体恢复,同样是基于人为构造的伪标签训练。
    图像去遮挡_第2张图片
    测试阶段:
    首先判断遮挡顺序。即对相邻两个物体,互相作为对方的遮挡体重建,重建后面积显著增大的是原始被遮挡物体。
    图像去遮挡_第3张图片
    得到遮挡顺序后,对任意物体,通过广义优先搜索获取其遮挡源,然后送入PCNet-M重建amodal mask(a),再利用PCNet-C,实现内容恢复(b)。
    图像去遮挡_第4张图片

你可能感兴趣的:(图像修复)