Nat Biomed Eng | AI通过病理切片推导预后和组织病理学特征
原创 huacishu 图灵基因 2022-08-27 16:05 发表于江苏
收录于合集#前沿生物大数据分析
撰文：huacishu
IF=29.234
推荐度：⭐⭐⭐⭐⭐
亮点：
1、作者设计了一个神经网络模型，该模型从高度相关的图像块的聚集记忆中学习异质肿瘤微环境的特征，该模型提供了肾细胞癌的可解释特征，允许对1333例患者进行基于风险的回顾性分层；
2、作者指出从WSIs获得组织病理学特征的深度图神经网络可能有助于诊断和预后。
韩国首尔国立大学Sunghoon Kwon教授课题组在国际知名期刊Nat Biomed Eng在线发表题为“Derivation of prognostic contextual histopathological features from whole-slide images of tumours via graph deep learning”的论文。应用于全视野数字病理切片（WSI）分析的计算病理学方法通常不考虑肿瘤微环境的组织病理学特征。
作者以半监督方式在千兆像素大小的WSI中考虑这些图形深度神经网络可以提供可解释的预测生物标记。作者设计了一个神经网络模型，该模型从高度相关的图像块的聚集的记忆有效表示中学习异质肿瘤微环境的特征。作者还表明，该模型提供了肾细胞癌的可解释特征，允许对1333例患者进行基于风险的回顾性分层。从WSIs获得组织病理学特征的深度图神经网络可能有助于诊断和预后。
肿瘤的组织病理学反映了肿瘤环境的异质性特征，并且传统上被用作诊断和预后的基础。最近，使用数字载玻片扫描仪的高分辨率全视野数字病理切片（WSI）的出现导致了组织病理学分析方法的变化。利用WSIs的丰富信息，计算病理学提供了对肿瘤环境的洞察，并通过肿瘤和基质区域的自动量化减轻了病理学家的工作负担。图像分析中深度学习的最新发展促进了计算病理学。
目前，WSI中不同细胞类型的分割和分类是高度准确的，并且预测致癌变异、基因表达甚至转移起源是可能的。此外，通过对传统生存分析的适应，基于深度学习的病理学可以提取与风险相关的组织病理学特征，并允许病理学家审查与预后相关的组织病理组织学标记。
在本文中，作者介绍了使用图深度学习（TEA图）的肿瘤环境相关学习，这是一种基于图神经网络（GNN）的方法，以半监督方式分析十亿像素大小的WSI的组织病理学特征。TEA图可以在整个WSI上训练，而无需专家手动注释感兴趣区域，并提取可解释的组织病理学预后标记。作者分析了风险相关特征，并比常规组织学分级更清楚地对患者的风险进行了分层（图1a）。
作者将提出的超级匹配方法与其他几种超级匹配构造方法进行了比较，提出的方法将WSI压缩为原始WSI的10–40%，同时充分保持信息和特征。因此，可以使用超级匹配方法（图1b）以内存有效的方式处理整个WSI，同时信息损失最小。
作者使用图形注意力网络（GAT），该网络利用GNN内的注意力得分从异质肿瘤环境中学习特征。作者修改了GAT，将每个超级匹配的相对位置作为边缘特征。改进的GAT利用边缘特征来计算每个节点之间的关注值，这区分了每个超级匹配之间的关系，并比原始GAT更好地表示WSI（图1c）。总体而言，TEA图使用WSI作为输入方式，并创建一个压缩的超级匹配图来处理GPU中的多个WSI。然后，位置感知GAT使用信息评估风险值。
TEA图预测预后的评价
将来自首尔大学医院的831名肾细胞癌（ccRCC）患者的WSIs数据集随机分成训练集（70%）、验证集（10%）和测试集（20%）。使用所有训练集WSIs对模型进行训练以预测患者的风险值，并使用测试集WSIs进行评估。
结合病理学家提供的组织病理学数据，TEA图预测的风险值表现优于所有其他组织病理学资料，并表明TEA图提供了其他组织病理数据无法表示的风险相关特征（图2a）。此外，TEA图预测的风险值达到了最高的风险比，这表明与其他病理学家提供的所有事件数据相比，预测的风险得分更好地反映了每个患者的事件发生概率（图2b）。预测的组织病理学分级显示，与世界卫生组织/ISUP分级相比，患者风险分层更好，尤其是在对早期患者的生存事件和转移事件进行分层方面（图2c）。
预测特征与已知病理预后特征之间的相关性
作者评估了使用TEA图计算的IG值是否充分解释了风险相关特征。将IG值在前10%、中10%和下10%的超级配对分别分为高IG组、中IG组和低IG组（图3a）。在中IG组中，作者观察到肿瘤细胞具有清晰的嗜酸性细胞质和高级核特征以及正常区域，如肾小球或肾小管（图3b）。在低IG组中观察到囊性改变和间质透明化，这是预后良好的背景特征。在中IG组中，观察到肿瘤区域、小管和间质中实性肺泡或乳头状生长和基质出血，这是正常的结构背景特征。另一方面，将高IG组的出血、坏死和淋巴细胞浸润确定为高危背景特征（图3c）。
为了证明每个超级配对IG值充分和定量地反映预后因素，作者测量了IG值的平均值与TEA图预测风险值之间的相关性。如果患者在高IG组中具有高计数，则存活率较低，反之亦然（图3d）。所有这些结果表明，IG值很好地代表了特征的风险相关重要性，并且TEA图正确地提取了与预后相关的特征。
肿瘤异质背景特征的研究
作者观察到，TEA图可以根据肿瘤环境背景识别免疫细胞的不同作用，并在风险预测中适当反映它们。例如，虽然观察到间质炎症是局部特征，但TEA图确定了肿瘤周围淋巴细胞浸润和慢性肾脏疾病相关炎症之间的不同预后特征（图4a）。
此外，当淋巴细胞显示浸润到肿瘤细胞中或主要聚集在肿瘤基质中且与肿瘤细胞的关联较少时，TEA图区分了预后效果（图4b）。TEA图显示了缺血性肿瘤坏死和基质透明化之间的差异，这具有不同的预后效果，但具有相似的局部特征（图4c）。同样，TEA图对每个出血特征施加了不同的预后影响。总之，作者证明，即使在具有挑战性的情况下，TEA图也能通过IG值和注意力得分很好地反映肿瘤环境的特征。
WSIs中转移和生存相关预后特征的差异
为了比较两个事件之间的风险相关背景特征，作者使用两个单独模型的IG值观察了同一患者的死亡率和转移的风险相关区域（图5a）。特别是，提取了具有前10%IG值的超级匹配的连通图，以表示预测特征（图5b）。然后，探讨了生存和转移事件的独特和共享的背景特征。两个事件中的高IG区均具有高级别病理特征，如横纹肌样特征。
此外，作者观察到肉瘤样和肿瘤内淋巴细胞浸润（图5c）。尽管在存活和转移中具有共同的病理特征，但主要出现在存活事件中的区域显示肿瘤脓肿、浸润性生长或不粘附的肿瘤细胞（图5d）。两个事件之间病理特征的差异意味着TEA图根据目标事件学习了不同的特征。虽然关于转移的背景特征的信息很少，但转移事件中出现的高风险特征可以作为转移特异性病理生物标志物的候选。
背景有意义的组织病理学预后生物标志物的研究
为了将子图聚类为特定的病理特征，作者使用k-均值聚类方法将每个IG组的子图的特征聚类为八个不同的标记组，并使用t-随机邻域嵌入（t-SNE）将聚类可视化（图6d，i）。然后，进行了Kaplan–Meier生存分析，以测量高计数组和低计数组之间Kaplan–Meier图下面积的差异，该差异可以反映该子图水平聚类的风险（图6b，g）。作者观察到，低IG组的图下面积偏向负值，高IG组偏向正值，这意味着聚类中TEA图提取的特征很好地反映了风险的差异。
为了提取每个聚类的特征，作者进行了图形分析。为此，将斑块级病理特征定义为高IG组和低IG组的10种不同病理特征。根据IG组，每个斑块级簇代表不同的形态学特征，例如高IG组的坏死和肿瘤内淋巴细胞浸润，低IG组为透明化和囊性改变（图6a，f）。其次，检查了每个子图簇中的连接模式。每个子图簇都有一个独特的连接模式，可以通过热图确定簇的模式（图6c，h）。
为了进一步显示代表特定特征的每个图簇，作者选择了一个子图，该子图很好地代表了图簇6的上述病理特征。然后，检查了在同一图簇6中具有病理相似特征的其他子图。在图簇6中发现了具有相似病理特征的多个子图，并证实了这些子图的不良预后（图6e）。此外，低IG组中的图簇3显示与低级别肿瘤细胞（斑块簇2）和树状血管系统（斑块簇7）相连的基质透明化（斑块簇4）（图6h）。与高IG组一样，在图簇3中选择了一个具有代表性的子图，并用图簇3的具有相似病理特征的子图确认了良好的预后（图6j）。
总的来说，作者确认，TEA图以半监督和数据驱动的方式识别了相当大的WSI数据集的病理组织学预后特征。
结论
作者表明，TEA图表示WSI的总体特征，并且可以学习预后特征，包括与肿瘤环境的复杂相互作用。TEA图显示了改善的风险预测和分层性能，可以在临床环境中帮助患者和临床医生。具体而言，作者采用了解释方法来解决TEA图学会区分患者风险值的有意义的组织病理学特征。使用通过TEA图提取的特征，可以解决与ccRCC预后相关的几个特征。
TEA图由各种优化的超参数组成，以适当预测预后特征。作者发现，利用边缘特征来表示超级匹配之间的相对位置（距离和角度）严重影响TEA图的性能。此外，图形构造方法对于确保最佳性能至关重要。
此外，TEA 图引入了一种超级匹配方法，该方法在不丢失WSI特征的情况下压缩WSI，从而减轻了由于WSI的千兆像素大小而对多个GPU的硬件要求。总之，作者的方法提出了一种使用改进的GAT以半监督方式学习WSI特征的方法，同时也更有效地处理所有WSI。作者还深入研究了TEA图对几个超参数的敏感性。总体而言，这些参数对于使用TEA图实现最佳性能至关重要。
尽管可以通过TEA图找到有意义的背景生物标记物，但仍有改进的余地，以更准确地将病理特征反映到背景特征中。作者选择了低IG组和高IG组的最弱图簇，发现TEA图混淆了详细的细胞水平特征和占据大面积的同质病理特征。例如，低水平肿瘤和淋巴细胞有时具有非常相似的病理外观，无法与斑块水平特征区分。如果透明化特征太大，TEA图有时会将特征与类似模式（如缺血性坏死特征）不匹配。这些限制可以通过结合细胞级特征和斑块级特征来改善。
深度学习促进了病理学的创新，在病理学中，图像数据是异构的，不同肿瘤细胞和微环境之间存在不同的相互作用。尽管许多研究表明了病理图像深度学习的实用性，但这些技术的临床应用仍然是一个开放的问题。一些正在进行的临床研究正在评估深度学习在实际临床环境中帮助病理学家的效果。作者相信，他们的研究也有助于通过特征搜索生物标记物，实现深度学习的临床应用。
教授介绍
Sunghoon Kwon是首尔国立大学电气工程学院的教授。Kwon教授在韩国首尔国立大学获得了电气工程学士学位（1998年）和生物医学工程硕士学位（2000年）。他于2004年在加州大学伯克利分校获得生物工程博士学位。他于2006年8月加入了首尔国立大学电气工程学院。自那时起，Kwon教授一直专注于创新平台，这些平台必将给医疗和制药业带来革命性的变革。更具体地说，Kwon教授开发了用于高通量生物测定的智能可扩展系统，用于快速细菌感染诊断的快速抗生素敏感性测试，以及低成本/高通量DNA合成技术。这些技术不仅对光流体学和生物医学产生了巨大影响，而且为实现个性化医学和合成生物学提供了指导。他的研究成果发表在《自然材料》、《自然光子学》、《自然传播》和《科学转化医学》等高影响力期刊上。此外，Kwon教授还获得了许多久负盛名的奖项，包括韩国科学技术学院的青年科学家奖、总统青年科学家奖等。
参考文献
Lee Y, Park JH, Oh S, et al. Derivation of prognostic contextual histopathological features from whole-slide images of tumours via graph deep learning. Nat Biomed Eng. 2022;10.1038/s41551-022-00923-0. doi:10.1038/s41551-022-00923-0.