《Boundary and Entropy-Driven Adversarial Learning for Fundus Image Segmentation》---MICCAI2019

Authors

Shujun Wang1(B), Lequan Yu1, Kang Li1, Xin Yang1, Chi-Wing Fu1,2, and Pheng-Ann Heng1,2

Department of Computer Science and Engineering,The Chinese University of Hong Kong,

代码链接https://github.com/EmmaW8/BEAL

Motivation

1、眼底图像中视盘(OD)和视杯(OC)的自动分割有助于青光眼的筛查和诊断。

2、深度学习在OD和OC的分割任务中已经有了非常卓越的进步,但由于跨域差异(domain shift)而未能对新的数据集产生令人满意的预测

3、提出一种有效的domain自适应方法来提高目标区域图像soft边界区域的预测性能仍然是一个具有挑战性的问题。

Observations.

  1. 在source domain上训练的深层网络往往会对target domain图像产生模糊和不准确的边界,而source domain的边界预测更具结构化(即相对位置和形状);文章认为一种有效的提高目标区域预测精度的方法是进行边界驱动的对抗学习,在source domain和target domain之间实施domain-invariant的边界结构。
  2. 网络容易在source domain图像上产生确定性(低熵)预测,从而产生仅沿object边界具有高熵值的清晰预测熵图;但是target domain的预测是不确定的,而mask预测的熵图是具有高熵输出;在target domain上实施certainty predictions(低熵)成为提高目标区域分割性能的可行方案。《Boundary and Entropy-Driven Adversarial Learning for Fundus Image Segmentation》---MICCAI2019_第1张图片

Contribution

1、提出了一种边界和熵驱动的对抗学习方法,通过产生精确的边界和抑制高不确定性区域,从目标区域眼底图像中分割OD和OC。

在RIM-ONE-r3和DrishtiGS数据集上测试

Net Structure

《Boundary and Entropy-Driven Adversarial Learning for Fundus Image Segmentation》---MICCAI2019_第2张图片

Boundary-Driven Adversarial Learning (BAL)

source domaina1b45581bc69d703ec4f590a96a3581923a.jpg, ground truth53df751808a8e61a8f2864cf9adf5fbf23b.jpg 另一个target domain10131d155853ed0b0c8630b9d0b02c37a9c.jpg

每张source图为e3c3b252401e8d93b1fafe6df493612153d.jpg网络提供边界预测cdd17d8b1ef931d1697a04f11fca4b6ae5c.jpg以及mask probability 预测e1993ed1c26fc6bf2a2b504b2ac9868c99b.jpg同样道理,给每张target图1aa42024897b963e2e33eaafe6551f63fe5.jpg生成c22c39c22bd9b4a22fdf3eefbf55256b620.jpgd8bc108a9c00e18107328e7d958c53e9c4f.jpg。为了使用边界信息去驱动对抗学习,作者使用了辨别器6804b32aaf992e9ab6e35e6c121f51a3bce.jpg,用来对齐boundary prediction dce4a0043de8fad1de633f7aac01b2994a1.jpg

《Boundary and Entropy-Driven Adversarial Learning for Fundus Image Segmentation》---MICCAI2019_第3张图片

其中LD是binary cross-entropy loss,N和M是source and target domain 图像的数量。

f321fcca43253d508657137d91af2f26829.jpg

Entropy-Driven Adversarial Learning (EAL)

BAL仍然是有high-entropy (under-confident) on the soft boundary regions,因此作者使用如下策略,新加入一个entropy-driven adversarial learning的discriminator De, 其中De的目标函数为

1568cbfb116b7010d64c4782d9e6fedfe63.jpg

其中8bded773dd9882a069644e36a0961c18f7e.jpg

那么adversarial loss就是0519cc7f3b0e56e8a043814690d2ff507a4.jpg

综上,整个网络的loss function如下《Boundary and Entropy-Driven Adversarial Learning for Fundus Image Segmentation》---MICCAI2019_第4张图片

c44ad261be43c13fc88ac2361aaddc4faad.jpg是source domain mask的pridction loss,7a3454d4378fa2112ed6174f3b9bd286256.jpg是source domain boundary regression loss,289e045b103edeb4acb490baf4145bf3dae.jpgaab56a12172be121c86a41a1a318f6c5995.jpg是mask和boundary的ground truth。

22bf5a053f385851235dba2266eb3afaa9b.jpg1ca6dace3865e57b02cf290845147e2458c.jpg是在target domain上的。

 

实验结果,略

你可能感兴趣的:(《Boundary and Entropy-Driven Adversarial Learning for Fundus Image Segmentation》---MICCAI2019)