Clinical-grade computational pathology using weakly supervised deep learning on whole slide images

2019年 nature medicine
代码：https://github.com/MSKCC-Computational-Pathology/MIL-nature-medicine-2019

动机： 由于病理图像所使用的WSI（Whole Slide Images）图像分辨率较大，所以在处理WSI图像时，通常会将一张WSI图像分为若干小切片进行训练。
与其他领域相比，计算病理学必须面对与病理学数据性质相关的额外挑战。大型带注释的数据集的缺乏比其他领域更加严重。利用病理学数据集的特性，计算病理学的大部分工作都是应用监督学习对WSI内的小切片进行分类。这通常需要专业病理学家在像素级进行大量注释。由于数据标注困难，数据集较小等问题，本文使用了slide-level级诊断并基于MIL的弱监督方式来解决该问题，病理学报告中即可获得标签。

与监督学习的对比： 小数据集上训练的深度学习模型，即使具有穷尽的、像素级标签的优势，也不能推广到临床分级的真实世界数据。本文能够在海量、多样化的数据集上进行训练，而不需要数据管理。

MIL单独使用的弊端：
在只用MIL时，会导致下滑预测的最大合并操作并不稳定。一个错误分类可能会改变幻灯片预测结构，导致大量的误判。以前的max pooling方法没有利用在训练过程中学习到的特征表示中包含的信息。 即使patch分类器没有单独将小切片分类为正，它们加在一起也可能足够可疑，从而触发基于表示的幻灯片级分类器的积极响应。减少这类错误的一种方法是在MIL分类结果的基础上学习幻灯片聚合模型。

流程： MIL阶段，对数据集中的每个幻灯片进行分块，并根据它们是positive的概率进行排序，找到每个幻灯片的概率排名最高的实例的送入模型学习。RNN阶段，top k做聚合来整合整个幻灯片的信息。

补充：
解决 MIL 任务会导致学习瓦片级表示，该表示可以线性地将正幻灯片中的判别瓦片与所有其他瓦片分开。

使用Otsu的方法用于设定幻灯片缩略图图像的阈值，以有效地丢弃所有背景拼贴，从而大幅减少每张幻灯片的计算量。

本文利用MIL来训练深度神经网络，从而产生语义丰富的瓦片级特征表示。然后，在递归神经网络(RNN)中使用这些表示来整合整个幻灯片的信息，并报告最终的分类结果。

参数说明：
slide：存储的是一系统切片的路径
target：存储的是切片对应的标签
level_downsamples：对应的是下采样因子，也就是缩放倍数
(1.0, 2.0, 4.0, 8.0, 16.0, 32.0, 64.0, 128.0, 256.0, 512.0)
grid：每个小块的坐标（左上角）