GAN-based Segmentation

整理些近段时间以来基于生成对抗网络来完成图像分割任务的论文，共三篇。

Semantic Segmentation using Adversarial Networks

这篇论文来自Facebook FAIR实验室，论文发表在NIPS-2016。
主要思想是：将传统的分割过程看做一个生成过程，也就是从raw image生成labelmap的过程，这样就可以将Segmentor替换原始GAN中的生成器。判别器的任务是判定输入的label map是由Segmentor生成的，还是GT。文中的判别器相较于原始GAN中的判别器的显著区别在于：双输入结构，分别是raw image和label map(或者GT)，当成对输入的是raw image和GT时，判别器输出1，当输入的是raw image和生成的label map时，输出0。
在零和博弈的框架下，Segmentor希望生成判别器难以区分的label map，判别器希望尽可能判别出由生成器生成的label map。
整体网络结构如下图所示：

网络架构

---

Adversarial Deep Structural Networks for Mammographic Mass Segmentation

这篇论文发表在MICCAI-2017。
论文实验数据是乳房影像，特征：低对比度。
这篇论文主打的网络结构是一体化FCN-CRF，同时从另一个角度来使用Adversarial Net：使用对抗网络来提高小规模数据下模型的健壮性，防止过拟合。
FCN对图像做像素级分类，CRF来实现structural learning来捕获high-order potentials.这两个方法是分割任务中较为常见，除此之外，这篇文章还有两个措施来提高分割的精度：

1. shape prior: 在将图片输入到分割网络之前，先生成一个prob-map，值越大代表属于目标区域的可能性越大，这个prob-map最终会和传统FCN的loss组合到一起形成prob-map*cross-entropy，优化目标是使这个值最小。
2. 利用对抗样本来提高模型的健壮性：启发自Goodfellow的论文,经过设计的对抗样本，可以使原有模型分类失败。本文在此基础上认为，如果一个模型足够健壮，那么即使是对抗样本，模型的分割表现应该依然不错，基于此设计了一个对抗loss。

---

Adversarial training and dilated convolutions for brain MRI segmentation

论文公开在arxiv上，公开时间是7月份。
论文的主要思想和NIPS-2016的工作基本一样(判别器的设计方式与NIPS-16工作很相似，成对输入，判断是生成的map还是GT),只是原本是传统FCN，换成了dilated CNN。是第一篇用这种方式用GAN做医学图像分割任务的文章。

任何问题欢迎与我本人联系[email protected], github.io, dynet contributor.欢迎交流.