论文 | 图网络应用之WSI病理图像分析

文 | 全世界最乖巧的小猪

Graph CNN for Survival Analysis on Whole Slide Pathological Images

这篇论文是基于上一篇论文 | 图网络理论之AGCN在WSI病理图像上的应用，发表于MICCAI2018，下载地址：没有下载地址。这里介绍主要方法。

1 WSI图构建

给定从WSI采样的patch图像集合，要先去掉在边界区域的只包含很少细胞的patch，所以每个WSI的基数||P||都不一样。因此，WSI建立的图的尺寸就都不一样。将patch作为结点，结点特征由ImageNet预训练的VGG-16生成。由于缺少patch标签，无法用patch进一步微调网络。本文将在下一章介绍图CNN模型如何缓解这一缺陷。图的边是通过设定一对patch之间欧式距离的阈值来构建的（这是初始图），是用VGG16的输出压缩成128维特征计算得到，压缩是用PCA在训练集和测试集上分别单独进行的。DeepGraphSurv模型结构如图1所示。

图1 DeepGraphSurv模型结构(实验中结点个数1000+)

2 谱图卷积

这里依旧跳过我们都很熟了的谱图卷积。用普通GCN有个缺陷，初始WSI图是基于patch特征建立的，VGG16特征提取器没有在WSIpatches上微调，因为缺少patch标签，因此初始图可能无法正确表示WSIpatches之间的拓扑结构。

3 生存特定图

初始图的缺陷是由于特征网络训练不足造成的。有两个问题：1）网络用了无关监督（i.e ImageNet标签），2）网络没有在病例图像上微调。最好patch特征可以用生存审查标签进行微调。所以本文设计了一个独立的图和（Laplacian）去描述特定的生存相关的WSIpatches之间的拓扑关系[13，15](这里就用了AGCN的方法)。在每个WSI上单独学习。由于不同WSI图的大小和拓扑结构不同，直接学习不现实。因此学习mahalanobis距离度量M来评估边连接，M随机初始化。为了加速收敛，我们让初始图作为正则项，最后的图Laplacian将是：，图卷积：

然后是重参数化：。模型参数{}通过生存损失函数的反向传播被更新，生存损失函数保证了微调特征和图结构对于生存分析目的来说是最好的。

4 图注意力机制

通常来说WSI中只有几个局部RoI关系到生存分析。随机采样不能保证patched都来自RoI.（所以我们要想想能不能在采样的时候就采得更好？？）注意力机制提供了一种通过学习重要性来适应性地选取patch。在模型中，有一个并行网络基于结点特征来学习结点的注意力。这个网络包括两个提出的GCN层，输出是结点注意力值.给定学习到的注意力，输出R是每个结点n的Yn加权求和：

如上所示，在graph gather层，注意力乘结点预测。注意力网络和预测网络共同训练。模型直接生成预测风险。整合生存风险回归和图特征学习。损失函数：