GANSeg:通过无监督分层图像生成学习分割

文章目录

  • GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation
    • 摘要
    • 引言
    • 方法
      • Level 1: Point Generation and Part Scale
      • Level 2: From Points to Masks
      • Level 3: Mask-conditioned Image Generation
      • 损失函数
    • 实验结果

GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation

摘要

  1. 无监督分割
  2. 一种基于GAN的方法,该方法生成以潜在MASK为条件的图像
  3. 以层级方式在明确定义部分位置的2D潜在点上调节掩模时,可以很好的学习以MASK为条件的图像生成
  4. 不需要监视MASK或点,增加了MASK到viewpoint和目标位置变化的鲁棒性。
  5. 还可以让我们生成图像MASK对来训练分割网络,它在已建立的基准上优于最先进的无监督分割方法
    代码链接

GANSeg:通过无监督分层图像生成学习分割_第1张图片

引言

现有的无监督关键点检测方法主要遵循与无监督关键点检测相同的策略:仿射变换,显著图,或者假设对象始终处于居中
本文关键的问题:设计一个GAN,生成具有有意义的部分分割掩码的图像

方法

GANSeg:通过无监督分层图像生成学习分割_第2张图片
第1层级(红色):点生成器将两个高斯噪声向量转换为部分位置和外型嵌入。
第2层级(橙色):掩码生成器将部件位置和嵌入转换为定义部件支持的掩码。
第3层级(绿色和蓝色):前景生成器使用前一层的数量来生成前景图像,最终与独立生成的背景混合。

Level 1: Point Generation and Part Scale

GANSeg:通过无监督分层图像生成学习分割_第3张图片
利用独立的噪声向量来生成K parts的位置和外观。
part的位置和尺度由相应点的均值和标准差计算
GANSeg:通过无监督分层图像生成学习分割_第4张图片在这里插入图片描述
详细可以看论文

Level 2: From Points to Masks

GANSeg:通过无监督分层图像生成学习分割_第5张图片
使用高斯热图来建模局部独立性
位置编码来生成相对于预测part位置的掩码
点与图像像素之间的相对位置编码而不是绝对位置编码
GANSeg:通过无监督分层图像生成学习分割_第6张图片
生成的嵌入映射Wmask随后将用于生成MASK
初始MASK
在这里插入图片描述
随后的MASK,采用SPADE ResBlocks整合
GANSeg:通过无监督分层图像生成学习分割_第7张图片

Level 3: Mask-conditioned Image Generation

GANSeg:通过无监督分层图像生成学习分割_第8张图片
在第三层,分别生成前景和背景,并通过重用前一层的MASK线性混合它们,前景生成和第二部分类似
GANSeg:通过无监督分层图像生成学习分割_第9张图片
背景生成:可以回到总览图看看
在这里插入图片描述
背景特征图:AdaIN ConvBlocks
GANSeg:通过无监督分层图像生成学习分割_第10张图片
前景和背景进行结合:M代表MASK
在这里插入图片描述

损失函数

生成器和辨别器总损失
在这里插入图片描述
在这里插入图片描述
区域面积损失:
GANSeg:通过无监督分层图像生成学习分割_第11张图片
强制MASK位于其中心周围的区域,具有几何连接损失
在这里插入图片描述
GAN损失:
GANSeg:通过无监督分层图像生成学习分割_第12张图片

实验结果

GANSeg:通过无监督分层图像生成学习分割_第13张图片

你可能感兴趣的:(#,无监督,学习,计算机视觉,深度学习)