医图分割_半监督_左心房3D MRI_MICCAI2020 Local and Global Structure-Aware Entropy Regularized Mean Teacher

Local and Global Structure-Aware Entropy Regularized Mean Teacher Model for 3D Left Atrium Segmentation

  • Abstract
  • introduction
  • method
    • Entropy Regularized Mean Teacher (ER-MT)
    • Local and Global Structure-Aware Entropy Regularized Mean Teacher Model (LG-ER-MT)
      • Local Structural Consistency Loss
      • Global Structural Consistency Loss

(医学图像分割)(半监督)(左心房 3D MRI)(MICCAI 2020)
南京工业大学 南京大学 (港中文 lequan yu 四作)
code:https://github.com/3DMRIs/LG-ER-MT 没给训练代码,但这篇文章训练代码才是关键

Abstract

  • 抛出问题:consistency只penalize了独立的像素级预测,使得预测的结构级信息structure-level information在学习过程中没有被利用。
  • 我们提出了structure-aware entropy regularized mean teacher model 来解决上述局限性
  • 对 student model 使用 entropy minimization principle -》对无标签样本产生 high-confident predictions
  • 我们设计了 local structural consistency loss 来鼓励 T model 和S model 的输出的 同一个局部区域内的 consistency of inter-voxel similarities
  • 在S model 和 T model 之间匹配 weighted self-information maps -》 施加 global structural consistency -》进一步捕获了local structural
    dependencies

基于上面的工作,我们的模型可以最小化未注释图像的预测不确定性,更重要的是它可以捕获局部和全局的结构信息及其互补性。

introduction

先介绍了一些相关工作,如 MICCAI2019 Lequan YU 的那个UA-MT,然后作者抛出这些方法的缺点:

  • 这些方法只是聚焦于 pixel-level consistency,忽略了 underlying structural information(解释这点时引用了一篇2018年CVPR,Learning to Adapt Structured Output Space for Semantic Segmentation,可以回头去看下)

由这个缺点引出了学习structural relationship的方法,而关于结构信息的方法作者引了两篇文章

  • Structured knowledge distillation for semantic segmentation. CVPR 2019
  • Structured Knowledge Distillation for Dense Prediction, PAMI2020
    这两篇都可以看一下。以及以后找图像分割的论文,记得 Dense Prediction 也是可以搜索的字段。

Boundary and entropy-driven adversarial learning for fundus image segmentation,这篇2019MICCAI 利用预测熵图获取目标边界信息,进行像素级图像分割。

然而这些structural relationship的方法没有充分利用 空间 和 几何结构信息 之间的互补性。

我们提出了:local and global structure-aware entropy regularized mean teacher (LG-ER-MT)
baseline上还是继承了MT模型的特点:不同的扰动,尽量一致的输出
还有以下几点贡献:

  • 使用entropy regularized mean teacher (ER-MT) 来惩罚无标签样本的 voxel-level prediction uncertainty
  • 从prediction中随机选取 small volumes(类似于patch吧) -》在small volumes中计算 inter-voxel similarities -》 获得local spatial structural information,进一步挖掘 structure-level information
  • 利用加权weighted self-information 来获得global geometric structure information。(作者在这里说,weighted self-information 例如是 disentanglement of Shannon Entropy,并引用了一篇ICCV2019:DADA: depth-aware domain adaptation in semantic segmentation)
  • 我们同时在MT模型中引入local 和 global structure information,从而完成互补。

method

医图分割_半监督_左心房3D MRI_MICCAI2020 Local and Global Structure-Aware Entropy Regularized Mean Teacher_第1张图片

Entropy Regularized Mean Teacher (ER-MT)

在S model 上对无标注样本 使用 LE:
在这里插入图片描述
log|c|没看懂,log|c|是啥?c是类别?但c取0怎么办,0不在log的定义域啊,c取1,log1直接0了,分母也不能为0啊。信息熵是一个期望,确实每个类别都要算一下信息量,即-plogp,每个类别算一下这个再求和就是信息熵了。除U勉强理解,U是无标注样本数量,算是求个平均值吧,除log|c|真没看懂,有知道的朋友麻烦评论区说一下。
在这里插入图片描述
作者说LE让S mdoel对无标注样本分割的更准确了,从而最终提升MT模型的泛化能力。
想了下最小化LE的目的是什么。最小化-plogp,当p趋于0时,-plogp趋于0(尽管p趋于0时,logp趋于无穷,但p比logp更快,因此整体趋于0)。当p趋于1时,-plogp还是趋于0,因此感觉最小化LE,就是让预测的像素点里p偏向0的更接近0,p偏向1的更接近1,推动预测概率向0和1这两极走。作者前面是这么说的:

For image segmentation tasks, low-density regions are generally
distributed in the pixels of an object border [3]. Considering that
the entropy minimization principle can adjust the network passing
through the low-density regions to make high-confident predictions in
most situations [9], we introduce this principle to the student
network for the first time in order to achieve more accurate segmen
tation of unannotated images.

也就是说,最小化LE就是实现entropy minimization principle?从LE优化方向来看,确实是在make high-confident predictions(预测概率趋近于0和1了嘛),但是这样真的有效吗?为什么只在无标注样本上用?如果这种做法真的这么有效,怎么没见别人用过?这个损失函数的效果有待验证。

Local and Global Structure-Aware Entropy Regularized Mean Teacher Model (LG-ER-MT)

  • 抛出问题:mean teacher 模型把分割问题当成逐voxel的分类问题,并仍然采用在半监督分类问题中通常使用的那种原始的一致性损失
  • 但分割不同于通常的分类问题,它带有structure-level characteristics
  • 因此,我们开发local and global 的 structural consistencies, 联合学习 spatial and geometric structural information,从而提升MT模型的generalization capability

Local Structural Consistency Loss

  • 计算S和T的输出的每一对儿voxel的相似度,但计算量太大
  • 因此对于每个mini-batch内我们随机选取一部分local vol来计算 inter-voxel similarity。注意,local volume 是 sub-volumes 是取的小块,类似于三维的patch。

医图分割_半监督_左心房3D MRI_MICCAI2020 Local and Global Structure-Aware Entropy Regularized Mean Teacher_第2张图片
如上图,先分为小块,在随机选取小块,蓝色的是被选的。
在这里插入图片描述
这是Local Structural Consistency Loss。L,标签样本数。U,无标签样本数。R,样本总数。N,蓝块数量。Hn\Wn\Dn,蓝块维度。V,蓝块内像素点数。k\l,蓝块内就是V内的两点。in,某个蓝块。Pink,in块内k点的预测向量(分割,c个类别就是c维向量。假如前景背景二分类,就是2维向量)。Pinl,in块内l点的预测向量。ainkl,Pink向量和Pinl向量的余弦相似度(是蓝块内的两个点的计算)。asinkl是s model输出内的余弦相似度计算,atinkl是t model输出内的余弦相似度计算,两者相减算2范数平方,再求和算平均值,就是最终整个式子LL的值。
先在a内先算块内点的相似度,再在s和t的输出之间算相似度的一致性,是在算相似度的一致性,即:s的in内的k l之间相似度 和 t的in内的k l之间相似度 的一致性。
医图分割_半监督_左心房3D MRI_MICCAI2020 Local and Global Structure-Aware Entropy Regularized Mean Teacher_第3张图片
在这里插入图片描述

Global Structural Consistency Loss

在这里插入图片描述
Isiv : 是s mdoel 的 第i-th样本的输出的 第v-th个voxel的 加权自信息, weighted self-information,用 -psiv◦log psiv 计算,这不就是上面那个LE损失函数吗? “◦” 是 Hadamard product 哈达玛积,因为p是向量,计算如下图。R:样本总数。V,HWD,总像素数。LG是在计算MSE。查阅花书,关于MSE见下图。Is和It分别是S model 和 T model 的预测的加权自信息就是自己算信息熵,公式4等于是对 S和T的输出预测的信息熵施加一致性损失。
医图分割_半监督_左心房3D MRI_MICCAI2020 Local and Global Structure-Aware Entropy Regularized Mean Teacher_第4张图片
5.4 5.5 中的y是向量。先看5.4,向量y`和y相减,结果假设是(a,b,c).那么(a,b,c)^2=向量的模×向量的模×cosθ。θ是两个向量之间的夹角,同一个向量的夹角为0°,所以为|(a,b,c)|²。故向量的平方在数值上等于向量模的平方。|(a,b,c)|=根号下(a方+b方+c方)。而对于5.5,(a,b,c)的2范数=根号下(a方+b方+c方),一样的,只是两种写法。
医图分割_半监督_左心房3D MRI_MICCAI2020 Local and Global Structure-Aware Entropy Regularized Mean Teacher_第5张图片
总的损失如下:
在这里插入图片描述
剩下的实验部分、实现细节等不写了,有需要回头看。这篇论文有些东西还是没说清楚,比如那个LE损失函数,作者说是首次在S model的无标注样本分割上使用,因为作者引用了很多CVPR PAMI等论文,因此要想完全弄懂作者用的这些一致性损失,最好去把引用文献看一下。

你可能感兴趣的:(医学图像处理论文,计算机视觉,深度学习)