【医学图像分割】Semi-Supervised Brain Lesion Segmentation with an Adapted Mean Teacher Model

这是一篇 2019 IPMI 使用半监督学习进行医学图像分割的文章，文章的主要思想就是使用 Mean Teacher Network 和 Student network 进行学习，然后提高性能，主要的贡献在于提出了一个一致性损失去利用未标记的数据。

摘要 ：

说明医学图像分割领域的现状，数据量不足以训练大的网络，训练过程中容易出现过拟合，标记数据费事费力费钱，所以作者想到了用半监督学习的方法去利用大量的未标注的数据，MT (Mean Teacher Model) 是一种半监督学习中常用的方法，作者就拿来用了一下。另外还加入了 EMA （指数移动平均），这也是一种在防止过拟合上 work 的不错的方法，可见为了防止过拟合煞费苦心。最后得到了 state-of-the-art.

主要工作 ：

1. 使用半监督学习利用了大量的未标注的数据
2. 使用 EMA 进行指数平均，防止过拟合

Mean Teacher Network

就是使用一个 Teacher and Student Network 去一起学习， Teacher network 和 Student Network 使用相同的架构。如下图所示。

参照 Mean teachers are better role models: Weight-averaged
consistency targets improve semi-supervised deep learning results 中的 Teacher model and student model 两种模型，基于假设 - 一张图片加入轻微的噪声在高层的时候保持一致性 文章中是这么说的 ：
CNN models should favor functions that produce consistent outputs for similar inputs 。

更新方法 ：
这个模型的总的cost function包括两部分，一部分是segmentation loss，这个是和ground-truth计算得来的，用的是交叉熵；另一部分是consistency loss，是student model的prediction和teacher model的prediction计算出来的，用的是dice loss，然后通过 loss function 使用梯度下降算法去更新 student model ，然后通过 EMA 去更新 teacher network .