读:Predicting Lymph Node Metastasis Using Histopathological Images Based on Multiple Instance Lear

论文来源：
Zhao Y , Yang F , Fang Y , et al. Predicting Lymph Node Metastasis Using Histopathological Images Based on Multiple Instance Learning With Deep Graph Convolution[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.1.Introduction
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9156339
1.Introduction
2.Network
四个着手点
512x512的一袋patch
深度网络自动提取潜在特征，VAE-GAN（自监督方式）
GCN生成包表示
特征选择（直方图和MMD）

网络结构主要的三部分
1.Instance-level feature extraction
VAE-GAN
VAE和GAN的结合
VAE：编码器输入数据x编码为潜在表示h；解码器将潜在表示h解码回原始数据空间。论文使用高斯分布作为潜在分布p(h)的先验进行编码器正则化
GAN：一个生成网络G，把潜在表示h映射到数据空间；一个判别网络D，区分真实数据和生成的假数据
VAE的解码器和GAN的生成器共享网络

2.Instance-level feature selection
核心思想：直方图和MMD maximum mean discrepancy

有N个包以及他们的标签，表示是否存在淋巴结转移（LNM）
假设第i个包有Ki个示例，表示为，，其中表示的是第i个包里的第j个示例提取出的特征。
目的是要评估一个包的feature F里面所有的示例级feature的重要性
具体做法如下：
A)为每个包里的每个特征生成一个直方图，等宽的Nb bins
对每一个feature fk, 统计所有包所有示例中的最大值和最小值

把此区间划分Nb个区间，把每个包 Xi映射到一个直方图
，其中

表示的是Xi中的示例们，他们的特征fk在第o个bins中的百分比

B)直方图作为包表示，计算正负样本间的差异来评估特征对分类的鉴别价值
获得所有包关于fk特征的直方图后，通过MMD距离计算重要性

Gp和GN分别是所有正包和负包的集合，φ是映射函数，MMD距离越大，代表越容易区分阳性和阴性
关于MMD距离的理解：https://blog.csdn.net/tunhuzhuang1836/article/details/78058184

3.Bag-level classification
A）GCN构建
启发式的方法构建图：
首先构建邻接矩阵

是同一个包里第p个和第q个示例之间的距离，论文使用欧式距离。
决定两个示例之间是否有边相连
将bag i中的一个示例特征作为图中的一个点，所以图可以表示为

是邻接矩阵，是节点特征矩阵，D是特征维度
B）谱图卷积
没看懂，哈哈哈
C）GCN网络
基于GCN的MIL采用了3个堆叠的图卷积层，每一层都有一个ReLU激活和一个自注意图池化层，来生成包表示（图的节点嵌入），然后，利用两个完全连接的ReLU层和一个s型激活函数来实现袋级分类。
优化：分类交叉熵损失

3.实验
数据集：TCGA的COAD 结肠腺癌
425名结肠直肠癌患者：N0期，无淋巴结转移；N1-N4，有淋巴结转移
174阳性，251阴性样本
评估指标：

结果
1）消融实验

所有这些配置的结果如表2所示。将(A)与(B)和©与(D)进行比较，使用所提出的特征选择程序将ROCAUC分别提高了3.3%和3.0%。同样，当比较(A)与©和(B)与(D)时，VAE-GAN分别获得了7.3%和7.1%的性能提高。(A)和(E)的比较表明，两阶段方法的性能优于端到端方法。虽然端到端配置(E)可以提取实例级特征并同时生成包表示，但同时处理这两个任务造成了沉重的工作量，在只通过包级分类监督优化整个网络的情况，特别是在缺乏足够的训练数据的情况下。因此，分别处理实例级特征提取和包级表示的两阶段方法更适合于我们的任务
2）与state-of-art相比

4.Conclusion
提到统一的GCN模型，利用袋级的弱标签进行联合实例选择和实例级特征选择