论文(四)：DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for Histopathology Whole

DTFD-MIL

DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for Histopathology Whole Slide Image Classification --CVPR(2022)

DTFD-MIL:双层特征蒸馏多实例学习用于组织病理学整片图像分类

Abstract

背景：MIL越来越多的用于WSI的分类。在WSI的数量有限，而单个WSI的分辨率非常高。

方案：提出虚拟包的概念，去扩大包的数量。在虚拟包的基础上构建双层MIL框架，以有效地使用固有特征。此外，还致力于推导基于注意力的MIL框架下的示例概率，并利用推导来帮助构建核分析所提出的框架。

结论：所提出的框架在两个WSI数据集上效果很好。

1、Introductions

​ 用于WSI分类的MIL模型本质上旨在识别与WSI标签最对应的的最独特的patches。WSI的数量是有限的，而每个图片有上百个甚至上千个示例，学习的信息只是图片级别的标签。

​ 许多最近的方法都利用示例间的关系来改进MIL，没有明确地面对上述WSI固有特征所引发的问题。提出伪包的概念，将一个包的示例分成几个更小的子包，并为每个子包分配父包的标签。这样增加了包的数量，每个子包中有了更少的示例。

​ 对所有的子袋应用一个Tier-1 AB-MIL模型。子袋中可能不会包含阳性示例，会导致错误分类。为了解决这个问题，从每个子袋中提取一个特征向量，并根据所有子袋提取的特征建立第2层AB-MIL模型。通过蒸馏过程，第1层模型为第2层模型提供了不同特征的初始候选对象，以便为相应的父包生成更好的表示。

​ 提出双层MIL框架贡献：1、引入子包缓解WSI数量有限的问题。2、在AbMILP框架下，利用Grad-CAM思想推导出示例概率。3、通过示例概率推导。建立了一个双层MIL框架。

2、Related Works

2.1、MIL

​ 许多袋嵌入的模型采用AbMILP的思想，即通过对单个示例的特征进行加权来获得的。

​ AbMILP中通过侧分支网络学习。

​ DS-MIL中基于示例特征与关键示例距离。

​ Trans-MIL中对示例之间的相关性进行编码。

2.2、Grad-CAM

3、Methods

3.1、Revisit Grad-CAM and AB-MIL

​ Grad-CAM：一种可视化工具，热力图。

​ 用于端到端图像分类的深度学习模型通常包括两个模块：用于高级特征提取的深度卷积神经网络(DCNN)喝用于分类的多层感知机(MILP)。

3.2、 Derivation of Instance Probability in AB-MIL

此处在文章附录给出证明：
​ 在AB-MIL框架下可以推导出每个个体示例的预测概率。

命题1：AB-MIL范式是经典深度学习网络图像分类框架的一个特例

​ 根据命题1，将Grad-CAM的机制应用到AB-MIL中，直接推断一个示例是某一类的信号强度是安全的。

3.3、Double-Tier Feature Distillation Multiple Instance Learning

​ 给定N个包，每个包有k个示例，每个包的标签为Yn。用H提取相应的特征。记为hnk = H(xnk)。n代表包下标，k代表示例下标。将一个包中的示例随机分为M个子包。每个子包被分到负包的标签Yn。

​ 将Tier-1中，对每个子包应用一个AB-MIL模型，记为T1。通过T1估计子袋的概率Ymn。每个子包中示例的概率也可以推导出来，可以根据示例概率从子包中提取出一个特征。所有子包提取的特征到Tier-2中，应用一个AB-MIL模型，用于父包推断。

特征蒸馏：

1、最大选择：选择子包中概率最大的示例特征，转到T2

2、最大最小选择：选择子包中概率最大的示例和概率最小的示例，进行特征提取和连接。

3、最大注意力分数选择：选择T1中具有最大分配注意分数的子包示例的特征，转到T2。

4、聚合特征选择：各个子包中所有示例聚合而来的特征，转到T2。

Conclusion

​ 本文的第一个贡献是在AB-MIL框架下推导了实例概率，我们定性地证明了推导的实例概率是一个比广泛使用的正区域检测注意评分更可靠的度量。在此基础上，提出了一种利用伪袋和双层MIL思想的DTFD-MIL，实例概率的推导为DTFD-MIL的特征蒸馏提供了依据。

​ 实验结果表明，所提出的DTFD-MIL确实为解决MIL问题提供了一个新的视角，并具有较好的性能，而不是像其他最新的工作那样利用互实例关系。

​ 最后，我们也希望实例概率的推导能成为未来工作中开发相关MIL模型或进行相关分析的有用工具，就像它在本文提出的DTFD-MIL中所起的作用一样。