Clinical-grade computational pathology using weakly supervised deep learning on whole slide images

2019年 nature medicine
代码:https://github.com/MSKCC-Computational-Pathology/MIL-nature-medicine-2019

动机: 由于病理图像所使用的WSI(Whole Slide Images)图像分辨率较大,所以在处理WSI图像时,通常会将一张WSI图像分为若干小切片进行训练。
与其他领域相比,计算病理学必须面对与病理学数据性质相关的额外挑战。大型带注释的数据集的缺乏比其他领域更加严重。利用病理学数据集的特性,计算病理学的大部分工作都是应用监督学习对WSI内的小切片进行分类。这通常需要专业病理学家在像素级进行大量注释。由于数据标注困难,数据集较小等问题,本文使用了slide-level级诊断并基于MIL的弱监督方式来解决该问题,病理学报告中即可获得标签。

与监督学习的对比: 小数据集上训练的深度学习模型,即使具有穷尽的、像素级标签的优势,也不能推广到临床分级的真实世界数据。本文能够在海量、多样化的数据集上进行训练,而不需要数据管理。

MIL单独使用的弊端:
在只用MIL时,会导致下滑预测的最大合并操作并不稳定。一个错误分类可能会改变幻灯片预测结构,导致大量的误判。以前的max pooling方法没有利用在训练过程中学习到的特征表示中包含的信息。 即使patch分类器没有单独将小切片分类为正,它们加在一起也可能足够可疑,从而触发基于表示的幻灯片级分类器的积极响应。减少这类错误的一种方法是在MIL分类结果的基础上学习幻灯片聚合模型。

流程: MIL阶段,对数据集中的每个幻灯片进行分块,并根据它们是positive的概率进行排序,找到每个幻灯片的概率排名最高的实例的送入模型学习。RNN阶段,top k做聚合来整合整个幻灯片的信息。

补充:
解决 MIL 任务会导致学习瓦片级表示,该表示可以线性地将正幻灯片中的判别瓦片与所有其他瓦片分开。

使用Otsu的方法用于设定幻灯片缩略图图像的阈值,以有效地丢弃所有背景拼贴,从而大幅减少每张幻灯片的计算量。

本文利用MIL来训练深度神经网络,从而产生语义丰富的瓦片级特征表示。然后,在递归神经网络(RNN)中使用这些表示来整合整个幻灯片的信息,并报告最终的分类结果。

参数说明:
slide:存储的是一系统切片的路径
target:存储的是切片对应的标签
level_downsamples:对应的是下采样因子,也就是缩放倍数
(1.0, 2.0, 4.0, 8.0, 16.0, 32.0, 64.0, 128.0, 256.0, 512.0)
grid:每个小块的坐标(左上角)

你可能感兴趣的:(深度学习)