论文地址:https://arxiv.org/pdf/1806.07064.pdf
代码地址:https://github.com/baidu-research/NCRF
病理学家使用Whole-slide Images(WSIs)分析图中的正常细胞和瘤细胞,并定位病变位置。WSIs是一种超级大的图片(100000 × × 200000像素),人工分析会很慢,而且多个病理学家的分析结果只有75.3%的结果相同。这就需要计算机辅助系统来辅助分析。
已经有研究把深度卷积网络应用到癌细胞检测中。大多数研究首先把WSIs提取出小的块(patch),然后使用这些小块训练深度CNN,接着得到在块水平的WSI是正常细胞还是瘤细胞的概率图,最后使用概率图进行癌细胞转移检测。但是块与块之间存在空间上的相关性。上述的方法把图片块单独地提取并训练,因此空间相关性没有被明确模拟,造成在相邻位置的图片块的预测结果不一致,块水平的概率图存在孤点。
神经条件随机场(NCRF)可以模拟图片块之间的空间相关性。
Kong等人提出了Spatio-Net,Spatio-Net使用2D的LSTM层给予CNN分类器提取的图片块特征来获取空间相关性。但是Spatio-Net使用两个阶段,第一个阶段训练CNN,第二阶段RNN获取空间相关性并预测。因此CNN分类器并不知道相邻图片块的空间相关性。
NCRF是一个概率图模型,结合了神经网络和条件随机场1。作者把CRF直接放在CNN特征提取器上。每个图片块的边缘标签分布通过平均场近似推理算法得到。而且平均场近似推理算法也运行在GPU上,CRF组件使用较少的计算开销,可以使用更大的特征维度。整个深度网络可以端到端实现,CNN特征提取器与CRF结合起来,可以意识到相邻图片块的空间相关性。
与没有考虑图片块空间相关性的baseline方法相比,NCRF的优点有:
1. NCRF提高概率图的可视化质量,
2. NCRF改进CNN特征提取器,
3. NCRF改进癌细胞转移检测。
下图表示NCRF的架构。它有两个主要组件:CNN和CRF。CNN组件作为一个特征提取器,拿一个网格的图片块作为输入,编码图片块成固定长度的向量,用embedding表示。CRF拿一个网格的embedding作为输入,模拟这些embedding的空间相关性。CRF组件的最后输出是每张图片块是正常细胞还是瘤细胞的边缘分布。
CNN使用被证明在图片分类任务中有用的架构:RestNet-18和ResNet-34。在每个架构,作者使用平均池化层之后的激活值作为图片块的embedding。embedding大小是512。
定义一网格图片块embedding是 x={xi}Ni=1 x = { x i } i = 1 N ,N是在网格中图片块的数量,比如在 5×5 5 × 5 的网格中 N=25 N = 25 。标签 Y={yi}Ni=1 Y = { y i } i = 1 N ,每个标签 y∈{normal,tumor} y ∈ { normal , tumor } 。条件分布 P(Y|x) P ( Y | x ) 可以被模拟为Gibbs分布的CRF
(下部分不懂>_ 为了训练可以使用反向传播算法的CNN-CRF端到端架构,需要获取每个图片块标签 yi y i 的边缘分布,从而可以计算交叉熵损失。可是,确切的边缘推理是棘手的,作者使用平均场近似推理,原始的CRF分布 P(Y) P ( Y ) 近似一个更简单的分布 Q(Y) Q ( Y ) , Q(Y) Q ( Y ) 可以写成每个独立图片块i边缘分布的积, Q(Y)=ΠNiQi(yi) Q ( Y ) = Π i N Q i ( y i ) 。通过最小化 P(Y) P ( Y ) 和 Q(Y) Q ( Y ) 的KL距离, KL(Q(Y)∥P(Y)) K L ( Q ( Y ) ‖ P ( Y ) ) ,作者得到每个边缘分布 Qi(yi) Q i ( y i ) 的更新步骤
最后,在固定次数的平均场迭代之后,作者使用每个图片块标签的近似的边缘分布 Qi(Yi) Q i ( Y i ) 来计算交叉熵损失,使用反向传播算法来训练整个模型。
作者使用baseline方法和NCRF方法进行对比。
下图是测试集中Test_026的预测概率图。
baseline方法增加了false positive的数量,而Hard negative mining降低了图中真实瘤细胞区域的密度,减低了模型的敏感度。NCRF with hard negative mining既能实现低false positive,又能维持高的图中真实瘤细胞区域的密度。
下图展示在训练中baseline方法和NCRF的图片块分类精度,可以看出NCRF比baseline的精度更高。
下表展示在验证集中baseline方法和NCRF的图片块分类精度,NCRF在ResNet-18和ResNet-34架构中都比baseline的分类精度高。
成对势函数的训练权重展现了强的空间配对。下图是训练权重的可视化,根据 3×3 3 × 3 网格的位置排列。
我们可以看到,对于网格中的一个空间块,它最近的邻居块有最大的权重,说明每个图片块标签分布与它们最近的邻居有强的相关性。
作者使用平均free-response receiver operating characteristic(FROC)分数评估NCRF在癌细胞转移检测的表现。平均FROC分数越高,表现效果越好。下图表示baseline和NCRF的FROC分数曲线。
下表表示baseline方法和NCRF的平均FROC分数。
可以看到,各种情况下,NCRF的FROC分数都比baseline方法的要高,说明NCRF比baseline方法表现出色。