《Cancer Metastasis Detection With Neural Conditional Random Field》简介

论文地址:https://arxiv.org/pdf/1806.07064.pdf
代码地址:https://github.com/baidu-research/NCRF

目的

病理学家使用Whole-slide Images(WSIs)分析图中的正常细胞和瘤细胞,并定位病变位置。WSIs是一种超级大的图片(100000 × × 200000像素),人工分析会很慢,而且多个病理学家的分析结果只有75.3%的结果相同。这就需要计算机辅助系统来辅助分析。

已经有研究把深度卷积网络应用到癌细胞检测中。大多数研究首先把WSIs提取出小的块(patch),然后使用这些小块训练深度CNN,接着得到在块水平的WSI是正常细胞还是瘤细胞的概率图,最后使用概率图进行癌细胞转移检测。但是块与块之间存在空间上的相关性。上述的方法把图片块单独地提取并训练,因此空间相关性没有被明确模拟,造成在相邻位置的图片块的预测结果不一致,块水平的概率图存在孤点。

神经条件随机场(NCRF)可以模拟图片块之间的空间相关性。

优点

Kong等人提出了Spatio-Net,Spatio-Net使用2D的LSTM层给予CNN分类器提取的图片块特征来获取空间相关性。但是Spatio-Net使用两个阶段,第一个阶段训练CNN,第二阶段RNN获取空间相关性并预测。因此CNN分类器并不知道相邻图片块的空间相关性。

NCRF是一个概率图模型,结合了神经网络和条件随机场1。作者把CRF直接放在CNN特征提取器上。每个图片块的边缘标签分布通过平均场近似推理算法得到。而且平均场近似推理算法也运行在GPU上,CRF组件使用较少的计算开销,可以使用更大的特征维度。整个深度网络可以端到端实现,CNN特征提取器与CRF结合起来,可以意识到相邻图片块的空间相关性。

与没有考虑图片块空间相关性的baseline方法相比,NCRF的优点有:
1. NCRF提高概率图的可视化质量,
2. NCRF改进CNN特征提取器,
3. NCRF改进癌细胞转移检测。

方法

下图表示NCRF的架构。它有两个主要组件:CNN和CRF。CNN组件作为一个特征提取器,拿一个网格的图片块作为输入,编码图片块成固定长度的向量,用embedding表示。CRF拿一个网格的embedding作为输入,模拟这些embedding的空间相关性。CRF组件的最后输出是每张图片块是正常细胞还是瘤细胞的边缘分布。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第1张图片

CNN的图片块embedding

CNN使用被证明在图片分类任务中有用的架构:RestNet-18和ResNet-34。在每个架构,作者使用平均池化层之后的激活值作为图片块的embedding。embedding大小是512。

CRF空间模拟

定义一网格图片块embedding是 x={xi}Ni=1 x = { x i } i = 1 N ,N是在网格中图片块的数量,比如在 5×5 5 × 5 的网格中 N=25 N = 25 。标签 Y={yi}Ni=1 Y = { y i } i = 1 N ,每个标签 y{normal,tumor} y ∈ { normal , tumor } 。条件分布 P(Y|x) P ( Y | x ) 可以被模拟为Gibbs分布的CRF

P(Y|x)=1Z(x)exp(E(y,x)) P ( Y | x ) = 1 Z ( x ) e x p ( − E ( y , x ) )

E(y,x) E ( y , x ) 是能量函数,用来衡量y的损失。 Z(x) Z ( x ) 是配分函数,确保 P(Y|x) P ( Y | x ) 是一个合法的条件分布。在一个全连接的成对CRF中,能量函数是
E(y,x)=iψu(yi)+x<jψp(yi,yj) E ( y , x ) = ∑ i ψ u ( y i ) + ∑ x < j ψ p ( y i , y j )

其中i,j是1到N。 ψu(yi) ψ u ( y i ) 是一元势函数,用来衡量 yi y i 标记图片块i的损失, ψp(yi,yj) ψ p ( y i , y j ) 是成对势函数,用来衡量i,j和 yi y i yj y j 的损失。成对势函数 ψp(yi,yj) ψ p ( y i , y j ) 模拟相邻图片块的空间相关性,如果 xi x i xj x j 相似,标签 yi y i yj y j 相同,则 ψp(yi,yj) ψ p ( y i , y j ) 有小的损失。作者使用 yi y i 标记图片块i的负log-likelihood来实现一元势函数 ψu(yi) ψ u ( y i ) ,即在CNN分类器softmax层之前标签 yi y i 的负的log值。作者使用权重cos距离作为成对势函数
ψp(yi,yj)=I(yi=yj)wi,j(1xixjxixj) ψ p ( y i , y j ) = I ( y i = y j ) ⋅ w i , j ( 1 − x i ⋅ x j ‖ x i ‖ ‖ x j ‖ )

其中 I(yi=yj) I ( y i = y j ) 是指示函数,判断 yi y i yj y j 是否相等, wi,j w i , j 是训练权重,控制在网格中两个图片块i和j的相似度强度。

(下部分不懂>_ 为了训练可以使用反向传播算法的CNN-CRF端到端架构,需要获取每个图片块标签 yi y i 的边缘分布,从而可以计算交叉熵损失。可是,确切的边缘推理是棘手的,作者使用平均场近似推理,原始的CRF分布 P(Y) P ( Y ) 近似一个更简单的分布 Q(Y) Q ( Y ) Q(Y) Q ( Y ) 可以写成每个独立图片块i边缘分布的积, Q(Y)=ΠNiQi(yi) Q ( Y ) = Π i N Q i ( y i ) 。通过最小化 P(Y) P ( Y ) Q(Y) Q ( Y ) 的KL距离, KL(Q(Y)P(Y)) K L ( Q ( Y ) ‖ P ( Y ) ) ,作者得到每个边缘分布 Qi(yi) Q i ( y i ) 的更新步骤

logQi(yi)=E_Qi[logP^(Y)]+const l o g Q i ( y i ) = E _ Q i [ l o g P ^ ( Y ) ] + const

其中 E_Qi[f(Y)] E _ Q i [ f ( Y ) ] 表示除了 yi y i 之外所有变量的 f(Y) f ( Y ) 的期望。 P^(Y)=exp(E(y,x)) P ^ ( Y ) = e x p ( − E ( y , x ) ) 是非归一化的CRF分布。平均场推理算法如下
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第2张图片

最后,在固定次数的平均场迭代之后,作者使用每个图片块标签的近似的边缘分布 Qi(Yi) Q i ( Y i ) 来计算交叉熵损失,使用反向传播算法来训练整个模型。

实验

作者使用baseline方法和NCRF方法进行对比。

NCRF获得平滑的概率图

下图是测试集中Test_026的预测概率图。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第3张图片
baseline方法增加了false positive的数量,而Hard negative mining降低了图中真实瘤细胞区域的密度,减低了模型的敏感度。NCRF with hard negative mining既能实现低false positive,又能维持高的图中真实瘤细胞区域的密度。

NCRF改进CCN特征提取器

下图展示在训练中baseline方法和NCRF的图片块分类精度,可以看出NCRF比baseline的精度更高。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第4张图片

下表展示在验证集中baseline方法和NCRF的图片块分类精度,NCRF在ResNet-18和ResNet-34架构中都比baseline的分类精度高。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第5张图片

成对势函数的训练权重展现了强的空间配对。下图是训练权重的可视化,根据 3×3 3 × 3 网格的位置排列。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第6张图片
我们可以看到,对于网格中的一个空间块,它最近的邻居块有最大的权重,说明每个图片块标签分布与它们最近的邻居有强的相关性。

NCRF改进癌细胞转移检测

作者使用平均free-response receiver operating characteristic(FROC)分数评估NCRF在癌细胞转移检测的表现。平均FROC分数越高,表现效果越好。下图表示baseline和NCRF的FROC分数曲线。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第7张图片
下表表示baseline方法和NCRF的平均FROC分数。
《Cancer Metastasis Detection With Neural Conditional Random Field》简介_第8张图片
可以看到,各种情况下,NCRF的FROC分数都比baseline方法的要高,说明NCRF比baseline方法表现出色。


  1. CRF简单介绍:
    https://www.cnblogs.com/Chiachyi/p/7689597.html
    https://www.cnblogs.com/Determined22/p/6915730.html ↩

你可能感兴趣的:(笔记)