读：H2-MIL: Exploring Hierarchical Representation with Heterogeneous Multiple Instance Learning for...

前言

论文来源：H2-MIL: Exploring Hierarchical Representation with Heterogeneous Multiple Instance Learning for Whole Slide Image Analysis (2022 AAAI)

code：https://github.com/lin-lcx/H2-MIL

一、简介

对于具有金字塔形多分辨率的wsi图像数据，现有方法无法完全利用其多尺度和异质的诊断信息。这篇文章提出了一种基于图神经网络的多实例学习框架，从多分辨率wsi的异质图中学习分层级的表示，用于后续任务

1.背景

multiscale and heterogeneous diagnostic information of different structures for comprehensive analysis in wsi（ranging from global level to cellular level）
多分辨率wsi中的信息，是多尺度的，异质的，比如说全局层级，组织级，细胞级，现有许多方法不能充分利用这种信息。

2.任务

一种形成MIL for wsi全局表示的框架

3.数据集

TCGA的esophageal cancer数据集和kidney cancer数据集

4.idea

• A heterogeneous graph with the “resolution” attribute( feature, spatial-scaling relationship)带attribute属性的异质图表示
• Resolution-aware attention convolution(RAConv( block to learn representation结合分辨率的注意力机制
• Iterative hierarchical pooling(IHPool) to aggregate the heterogeneous graph迭代的分等级池化

二、主要内容

网络整体框架：

首先，把一个多种分辨率层级的wsi，用带有resolution属性的异质图来表示，然后送入多个RAConv模块和IHPool模块组成的H2MIL网络，这也是网络的核心部分，这一部分就是图注意力卷积网络学习 的过程，结点结合邻居点的信息，不断聚合，提取出密集但是具有区分性的表示，挖掘可用于wsi分析的分等级的结构语义信息。最后根据学习到的表示，再使用一个wis-level的分类器来获取预测。

1.带有resolution attribute属性的图

异质图的构建有两个核心思想：

• 表示出空间和尺度关系
• 保留多分辨率patch的异质信息
  一个异质图可以表示成下面这样
  
  其中表示的是通过cnn提取出的多分辨率patch的feature embeddings

是图中的边，代表着patches之间的关系，有两种不同类型的关系：

• Spatial：空间关系，仅存在于同分辨率等级的patch间（图上蓝色实线，文中是连接了一个点和他周围相邻的8个点）
• Scaling：尺度关系，仅存在于同一位置，但是不同等级分辨率的patch间（图像灰色虚线，直接通过patch的位置对应，因为wsi不同分辨率等级的patch间本来就有对应）
  文中一共使用了三个层级{Thumbnail，x5，x10}，patch是通过简单的滑动窗口以及阈值方法来划分的， 这里一个x5等级的patch对应4个x10等级的patch，
  是一个额外的属性集合，代表的是每个结点的resolution属性

构建的异质图具有下列的性质：

• Node: same feature dimension, unique resolution attribute
• Different resolution: unbalances number of nodes
• Dense graph:8-adjacent manner

2.RAConv

额外的resolution属性，带来了更丰富的信息，所以提出了一种新的图注意力卷积方法来处理这种有层级信息的异质图，基本思想：

• considers the heterogeneity of neighbors
• alleviates the bias caused by the imbalance number of heterogeneous neighbors when calculating the attention scores.
  假设是第H2MIL网络第l层的图的隐藏表示，其中是结点的个数，d是每个节点的维度，层级的传播规则如下：
  
  是对称归一化邻接矩阵，是该层要学习的参数矩阵，是激活函数，比如说Relu，这个就是最基本的图卷积的传播规则。在本文中，由于考虑到不同邻居结点（包括不同分辨率级别的），对消息传递有着不同的影响，作者设计了一种dual-stream attention策略来重新校准结点级别的attention。

a)首先考虑resolution
对一个结点v，将其在第r级分辨率的所有邻居结点表示为，对于第r层级分辨率，计算一个范例（prototype），文中直接用的是上的平均feature embedding，所以可以计算分辨率级attention score如下：

b)考虑节点级的 node-level
表示的是当前结点邻居结点的embedding，其中有

（也就是说它是在同一分辨率级计算的），

最终，v 到 v’的attention score 为，

结合文中的这种attention策略，前面的传播规则可以写为

在这个attention matrix中，第v行第v‘列就是前面计算的attention score
和之前2021年的方法HGAT(Yang et al. 2021).对比，每个点的特征降维都可以在RAConv中共享；不同分辨率级的node-level attention是单独计算并且通过resolution-level的attention score来重新校准，这样就可以防止异质结点数量不平衡带来的偏差。（HGAT中所有node-level attention score一起计算，然后和type-level 结合）

3.IHPool

WSI金字塔的异质图表示是很密集的，所以需要pooling层
目的：

• improve the receptive field
• reduce redundant calculation in the learning process
• Exploring latent structured information

原则：

• Always retain thumbnail to maintain the pyramid structure and global information
• Nodes to be pooled in each iteration are depended on the pooling results of corresponding low-resolution nodes
• Pooling centers are dynamically selected
• Node assignment are determined by combining spatial distance and fitness difference
  

4.其他与整体

经过了L层的H2-MIL之后，网络动态地提取到了一些粗糙的信息，他们可以看成是不同等级的组织的表示，比如g1和gl，将这些表示通过一个Readout层（全局平均或者最大池化），为每个子图生成一个表示，然后通过类似残差连接的结构，将这些信息聚合到一起（具体还没看代码），然后通过softamax层，获得最后的预测

损失函数
WSI分类任务采用交叉熵损失，目标损失为

M是样本数量，C是类别数目，Y是one-hot编码的标记矩阵，采用梯度下降法。

三、实验

Dataset: two public clinical WSI benchmark datasets from The Cancer Genome Atlas (TCGA) project
ESCA and KICA
Tasks: WSI classification (tumor typing and staging)
Pyramid: Thumbnail, x5 and x10
Methods：5-fold cross-validation

在两种任务的数据集上都明显优于现有的sota，H2-MIL对肿瘤分期有更明显的改善，作者认为因为IHPool探索的结构化信息可以反映肿瘤的聚集形态和浸润深度，这对肿瘤分期有重要的价值。
同时，还进行了消融实验来证明每个部分的有效性
多分辨率方案的研究

IHPool层数研究

可解释性

H2-MIL网络可以通过可视化的任务相关结构提供丰富的可解释性。所提出的网络可以在多个层次上有效地解构WSI，所提取的结构可以很好地描述肿瘤的聚集形态和浸润深度，这将有助于提高许多WSI分析任务的性能。图3中显示的其他情况也证实了这一观察结果

四、总结

暂无