值得学习的点
标注了四种成分：肿瘤、正常肝组织、肿瘤相关基质、出血和坏死
先标注一小波数据，得到模型来帮助后续的标注工作。
不同放大倍数下4X、10X、40X，用于训练得到最佳效果所需的tiles数量
分析了模型对于OS和RFS(无病生存期)、肿瘤复发率、分期的预测能力
结合了多种病人的临床资料，同时与预后相关的特征进行多因素相关预后分析。
在TCGA的数据库中得到了验证，先是对图像标准化成自己片子的一个标准，比较了标准前后模型预测能力。
结合了TCGA肿瘤免疫细胞浸润以及突变，提到了模型（肿瘤风险评分）与突变和免疫细胞之间的关系
使用RAM提取了深度学习的风险相关特征，尝试去搞清楚哪些是高风险哪些是低风险。
Abstract
设计：一个可解释的、弱监督的深度学习框架，结合先前的知识，用于分析1125例肝癌患者（2451WSI）的中山队列和320例肝癌患者（320例）的TCGA队列的病理整张幻灯片图像（WSIs），并探索新的预后表型。建立“肿瘤风险评分（TRS-tumour risk score）”评估患者预后，然后应用风险激活图（RAM-risk activation mapping）可视化TRS的病理表型。癌症基因组图谱（TCGA）HCC的多组学数据用于评估TRS的潜在发病机制。
结果：生存分析显示TRS是中山队列（p<0.0001）和TCGA队列（p=0.0003）的独立预测因子。TRS的预测能力优于并独立于临床分期系统，并且TRS可以将患者平均分为五组，每组预后显著不同。值得注意的是，窦状毛细血管化、突出的核仁和核膜、核/细胞质比率和浸润的炎性细胞被确定为TRS的主要潜在特征。TCGA HCC的多组学数据提示TRS与肿瘤免疫浸润和基因改变（如FAT3和RYR2突变）相关。
结论：我们的深度学习框架是一种有效且省力的病理图像解码方法，为HCC风险分层和患者精确治疗提供了有价值的手段。
Introduction
肝细胞癌（HCC）占原发性肝癌的75%-85%，是全球第六大最常见和第四大致命恶性肿瘤。
肝癌在组织学、分子和遗传水平上具有高度异质性。
肝细胞癌预后相关的病理学特征：微血管浸润、肿瘤分化、肿瘤内三级淋巴结构、包裹肿瘤簇的血管、大骨小梁-块状亚型
微血管浸润和肿瘤分化等常规病理特征外，最近在HCC中还报道了新的预后组织病理学特征，包括肿瘤内三级淋巴结构、4条包裹肿瘤簇的血管5和大小梁-块状亚型6
FIgure1：利用深度学习进行肝癌预后分析的数据和工作流程。我们首先使用260张整张幻灯片图像（WSIs）作为基于类别的抽样，开发了分类网络。然后使用该网络分析剩余的WSI并生成分割图。我们根据这些分割图从每种类型的组织中随机抽取瓷砖。接下来，我们训练预后网络并计算每个患者的肿瘤风险评分（TRS）。最后，我们使用TRS预测患者预后，并整合转录组学、基因组学和神经网络热图来识别可解释的特征。TCGA，癌症基因组图谱。
Methods
1、患者和随访
1125例HCC患者，共2550张病理切片。
99张因切片质量差而被排除在外，其余2451张幻灯片被捕获并扫描为全幻灯片图像（WSIs）。
除了随机选择96名患者的260个WSI进行手动注释外，1029名患者的所有2191个WSI被随机分为训练集和验证集（在线补充表S1）。
总生存率（OS）定义为手术和死亡之间的时间，癌症特异性生存率（CSS）定义为从手术到肝癌导致死亡的时间，无复发生存率（RFS）定义为手术和复发之间的时间。
在中山验证队列中，184名患者死亡，其中75.5%有肿瘤复发；
在344名活着的患者中，32.3%被诊断为肿瘤复发。随访时间中位数为56个月（14~98个月）。1年、3年和5年总生存率分别为89.7%、74.1%和68.2%，1年、3年和5年复发率分别为23.0%、45.6%和58.8%。知情同意书由每位患者签字。
2、切片制备
所有标本用4%中性甲醛固定，石蜡包埋，4µm厚切片，H&E染色。CD34免疫染色的主要抗体为小鼠抗人CD34。
3、抽样方法
我们采用了两种抽样方法：全局随机抽样和基于组织类别的局部抽样。
对于基于组织类别的局部采样，我们训练了一个组织分类网络，然后根据网络的输出对不同组织的patches进行局部采样（S1A）
4、分类网络
识别肿瘤组织、邻近正常肝组织、肿瘤相关间质以及出血和坏死区域。
ResNet-18用于提取瓷砖的特征
（conditional random field）CRF用于建模tiles的空间相关性
5、预后预测网络
我们以每位患者为例，以生存时间为标签，从WSIs中采样的瓷砖作为输入。
我们分别以不同放大比例的样本作为输入训练预后模型（S1B）。
训练后，我们在不同的量表上取样，并将其输入这些预后网络，以生成每个患者的TRS。
然后，我们对来自不同规模网络的预测结果进行平均，以获得最终的TRS
6、TCGA HCC队列中WSI的标准化
由于载玻片制备和扫描过程中引入的可变性，我们无法将中山队列训练的模型直接应用于TCGA队列以获得满意的结果。我们进行了增强循环18，将WSIs的染色模式从TCGA队列转换为中山队列，以标准化两个数据集之间的染色条件（详情见在线补充方法）。
7、预后相关特征的可视化
为了识别与预后相关的特征，我们将类别激活映射（CAM）12修改为风险激活映射（RAM），以在瓷砖上显示热图。在此基础上，我们采用t-SNE和K-means算法对特征区域进行可视化和聚类，并使用叠加直方图对这些潜在特征进行量化（详情见在线补充方法）
8、肿瘤免疫浸润与TRS的相关性研究
我们应用CIBERSORT算法和LM22基因标记，基于转录组数据对22种人类免疫表型进行特异性区分。此外，使用GSVA软件包计算T效应器信号（CD8A、EOMES、PRF1、IFNG和CD274）。
8、统计分析
我们使用0.5作为分类阈值来计算准确率。
我们通过风险评分和患者OS计算C指数，以验证绩效。
验证集的预测风险分数使用Cox回归分析
生存分析采用Mantel-Cox对数秩检验。Mantel- Cox log- rank test
为了比较两组，采用非配对Student T检验对变量进行评估。
多变量数据分析采用半参数设计的多变量方差分析。
通过Spearman和距离相关分析计算相关系数。
Scikit-learn用于计算曲线下面积（AUC）。
Result
1、基于组织分类的肝癌组织局部采样训练
两位经验丰富的专家使用不同颜色的多边形在260个WSI上手工标注了四种组织区域的轮廓（图2A），这一步骤由另一位病理学家独立检查。
分类网络输出的典型示例如图2B所示，不同的颜色代表不同的组织成分。
S3中显示了培训网络的每个类别中的瓷砖数量。
经过全面训练后，我们测试了分类网络的性能（图2C），显示准确度为0.982（表1）。
我们分类网络中每个组织类别的AUC超过0.973，在肿瘤组织分类中最高（AUC=0.999）（图2D）。
我们使用分类网络分析了剩余的2191个WSI，并确认了两位经验丰富的病理学家的输出。由于污染、脱色和重叠，只有大约2.51%（55/2191）的WSI需要手动重新注释，这表明我们的分类网络与专业病理学家的表现相当
我们是用t-SNE评估分类网络中不同组织上的区分情况（图2E）
Figure2：中山队列中基于类别抽样的WSI分类的可视化(A） 标记为WSI。我们手动标记WSIs以训练分类网络（红色表示肿瘤组织，绿色表示正常肝组织，黄色表示肿瘤相关基质，蓝色表示出血和坏死）进行分类抽样(B） 原始WSI和分类网络的分割图输出。左：原始WSI图像；右：对应的分割图(C） 分类结果的混淆矩阵(D） 验证集上分类网络的每个组织类别的AUC(E） 使用t-SNE算法可视化分类结果
2、预测肝癌患者预后的预后网络
为了从WSIs中提取预后信息，我们使用ResNet-50和线性Cox回归构建了一个预后网络。
中山队列中的患者被随机分为训练组（501名患者，1221名WSI）和验证组（528名患者，970名WSI）。
我们将采样的tiles作为输入，将患者预后作为标签来训练预后网络（S4）。
我们称之为“风险评分”的网络输出是评估每个患者预后风险的相对值。
我们首先比较了全局随机抽样方法（整张玻片，不考虑组织类别）与基于组织类别的局部抽样方法的性能，其中每个患者32块tiles作为输入进行抽样。
我们通过不同放大率下不同抽样方法的风险评分计算了C指数（3A）。
在各放大倍数下，局部肿瘤取样的表现明显高于全局随机取样（p<0.0001）。
由于在不同的放大倍率下捕捉到各种特征，三种放大倍率组合的性能始终优于单一放大倍率（S2A-C）。
多尺度肿瘤组织的风险评分中位数C指数甚至达到了0.731。
这一结果证明了我们的假设，即局部肿瘤采样作为先验知识可以显著降低预后网络优化的复杂性。
我们测试了作为输入的不同样本计数对网络性能的影响（图3B）。
随着样本数量的增加，不同放大倍数的网络性能逐渐提高，直至出现平台期。
随着放大率的增加，需要更多的分片来饱和网络性能。
具体而言，40倍放大比例至少需要32块tiles，10倍放大比例至少需要16块tiles，4倍放大比例至少需要8块tiles。
肝癌邻近肝组织的转录组学特征和肿瘤相关间质的特征包含有价值的预后信息
因此，我们还使用基于类别的局部抽样方法，从相邻正常肝组织和肿瘤相关间质区域多尺度采样瓷砖，作为网络输入。在多尺度组合中，肿瘤组织的表现优于其他两种组织（S2D）。
显著的截止值显示了广泛的范围，从OS和RFS的10%到90%不等，相应的HR值均>1（图3C）。
在70%时表现最好（图3D），我们使用70%作为后续患者二分法的截止值。
与低TRS患者相比，复发率更高（图3F）。
根据TRS，HCC患者可以平均分为三组、四组、甚至五组，其预后显著不同（S4A-F），显示了我们预测临床结果的预后风险网络的稳健和定量分层。
高TRS与不良OS或RFS的相关性与其他临床病理特征无关（表2）。
值得注意的是，在每个患者特征的所有亚组中，TRS仍然是患者生存率的预测因子（图4）。
为了将TRS的表现与所有临床病理变量的组合进行比较，我们将临床病理特征（单变量分析中p<0.05）整合到综合评分中。
与综合临床评分相比，TRS对OS的预后能力更强（p<0.001，在线补充图S6A），但对RFS的预后能力次优（p=0.043，S6B）。
正如预期的那样，TRS与综合临床评分相结合对生存率（p<0.001）和复发率（p<0.001，在线补充图S6A，B）的预后能力最强。
Figure3：评估验证组和中山队列中患者的预后表现
(A） C-index-根据不同放大比例下的不同抽样方法，通过风险评分得出的指数
(B） C-index-根据不同放大比例下的不同抽样计数，通过风险分数得出的指数
(C和D）不同TRS（肿瘤风险评分）截止值的HR值和p值(E和F）高（Hi）TRS（>70%TRS）和低（Lo）TRS生存和复发的Kaplan-Meier曲线(≤70%TRS）
(G和H）不同TNM阶段TRS生存率和复发率的Kaplan-Meier曲线（70%为临界值）。Nsp> 0.05；，0.05>p>0.01；，0.01>p>0.001；**，p<0.001.OS，总生存率；RFS，无复发生存率；肿瘤淋巴结转移；TRS，肿瘤风险评分。
3、TCGA HCC队列的预后表现
我们在TCGA HCC数据集（320名患者和320张WSI）上验证了我们提出的框架。
我们首先通过增强CycleGAN（S7）标准化TCGA数据集，然后在不进行微调的情况下测试网络。我们随机选择29个WSI进行注释，以测试分类网络的性能。
TCGA的大多数病理性苏木精和伊红（H&E）图像仅包含肿瘤组织；
因此，我们仅对肿瘤进行注释。分类网络的准确度达到0.921（图5A），预测网络的中值C指数达到0.713（图5B）。
我们还测试了未经WSI标准化的TCGA队列，发现分类网络的准确率为0.782，预后网络的C指数为0.602（图5B）。
这些结果表明，通过WSI标准化，不同数据集中由染色和扫描仪引起的变化可以得到缓解。
与低风险组相比，高风险组患者的生存率明显较低，使用70%作为截止值（5C）
多变量分析还显示TRS是患者生存的独立预测指标（表S5）
当按肿瘤分期分层时，TRS仍然与患者生存率相关（图5D）
结果表明我们提出的深度学习框架优于传统的临床分期系统。
外，利用TCGA HCC数据，我们调查了TRS与肿瘤免疫微环境和基因突变的相关性（图5E）。
我们发现TRS与中性粒细胞、M0巨噬细胞（p=0.024，r=0.128）和调节性T细胞的浸润呈正相关，但与CD4记忆性T细胞的浸润和T效应器特征呈负相关
.此外，TRS与FAT3、RYR2和TTN突变呈正相关。
图5癌症基因组图谱（TCGA）队列验证集中患者预后结果的评估
(A） 分类结果的混淆矩阵（PPV，阳性预测值；NPV，阴性预测值）
(B） C-通过TRS在不同放大比例下的指数，有（w/）或没有（w/o）WSI标准化（std）
(C） 高TRS（>70%TRS）和低TRS患者总生存率的Kaplan-Meier曲线(≤70%TRS）
(D） 不同肿瘤阶段TRS总生存率（截止值为70%）的Kaplan-Meier曲线
(E） TRS与肿瘤免疫浸润和基因突变的相关性。嗨，高；低,；肿瘤风险评分
4、与预后风险相关的组织学特征可视化
为了打开深度学习方法的黑匣子，我们使用RAM显示与WSIs患者结果相关的组织学特征。
为了准确描述细粒度特征，我们删除了特征提取模块（ResNet-50）的最后三个剩余块。
最后，通过使用特征权重对推理过程中生成的最后一层激活特征图进行加权，得到热图，其中红色和蓝色分别表示较高和较低的死亡（或复发）风险。
我们的可视化方法只需要一个推论就可以获得热图，而无需计算梯度，这表明了更高的效率和通用性
通过对热图中的特征区域进行可视化和聚类，我们检测到40倍尺度的四个分离特征（图6A、B），以及10倍尺度和4倍尺度的两个特征（在线补充图S8A-C）。
接下来，我们的病理学家回顾并提出了特征区域的可能注释。在40×标度的热图中，一些正弦区域标记为红色，免疫染色显示这些正弦由CD34细胞勾勒（图6C），表明这些区域存在窦状毛细血管化--（腔大、形状不规则的毛细血管）。
同样，突出的核仁和核膜细胞以及高核/细胞质（N/C）比率也显示为红色。
因此，上述三个特征可能与复发和死亡风险增加有关。
相反，热图以蓝色突出显示了炎症细胞区域，表明复发和死亡的风险较低。
与肿瘤细胞相比，这些炎症细胞往往更小、更圆，染色较暗且均匀。
此外，在10倍标度和4倍标度下确定了窦状毛细血管化和炎性细胞。
重要的是，大多数（>60%）窦状毛细血管化、突出的核仁和核膜细胞以及高N/C比率细胞出现在高TRS患者中，而大多数（>60%）浸润的炎性细胞出现在低TRS患者中（p<0.001）（图6D和在线补充图8D）。
四个特征组合的C指数达到0.724（图6E），表明我们的模型预测的TRS的解构
同时，热图表明肿瘤血管生成的组织学特征、细胞形态和炎症微环境可能与患者预后相关，我们的预后网络可以捕捉到这一点
图6 风险热图的可视化和聚类
(A） 40倍标度下TRS相关的高风险（正弦毛细血管化、高N/C比率和突出的核仁和核膜）和低风险特征（炎性细胞）热图的可视化。病理学家回顾并定义了每个特征。在每个面板的左侧是WSIs的原始tiles；右边是热图。红色区域表示潜在风险增加，蓝色区域表示风险降低。红色圆圈表示正弦毛细血管化，蓝色箭头表示炎性细胞
(B） 利用t-SNE算法从40×尺度的热图中分离出四个潜在特征
(C） 免疫染色显示肿瘤中的窦状结构由CD34细胞勾勒出来，提示这些区域存在窦状毛细血管
(D） 在按TRS分组的患者中，使用叠加直方图量化每个潜在特征的分布。采用多变量方差分析对数据进行比较
(E） C-每个潜在功能的索引以及这些功能的组合。***，p<0.001。N/C，核/细胞质；TRS，肿瘤风险评分；WSIs，全幻灯片图像。
DISCUSSION
最近的几项研究初步证明，基于深度学习的架构有助于从数字病理图像预测患者预后。
我们开发了一个基于弱监督学习并结合先验知识的可解释预后网络。
它可以在细粒度水平- fine- grained level上可视化与预后相关的特征，并且在预后预测方面具有惊人的准确性
我们使用较小的人工注释来训练基于组织类别的局部采样，从而在HCC切片上获得大量更有意义的组织块作为输入。
使用先验知识可以有效地降低网络优化的复杂性，提高弱监督学习的性能，即使在小数据集上也是如此。
在未来，将基因组、免疫学和组织学数据整合到基于深度学习的预测框架中将是一个有希望的方向
结合细粒度热图的可视化和聚类，医生只需定义通过我们的方法发现的每个潜在特征
根据TCGA数据，我们观察到这些浸润的免疫细胞具有抗肿瘤作用，这些免疫细胞可能是T细胞，如CD4记忆T细胞或效应T细胞。