Cancer Cell | AI集成肿瘤多模态数据：数据融合和关联发现
原创 huacishu 图灵基因 2022-10-18 10:11 发表于江苏
收录于合集#前沿生物大数据分析
撰文：huacishu
IF=38.585
推荐度：⭐⭐⭐⭐⭐
亮点：
1、作者介绍了多模态数据融合和关联发现的人工智能方法和策略；
2、作者概述了人工智能可解释性的方法，以及通过多模态数据互连进行人工智能驱动研究的方向。并且讨论了临床应用中的挑战，提出了新的解决方案。
美国哈佛医学院Faisal Mahmood教授课题组在国际知名期刊Cancer Cell在线发表题为“Artificial intelligence for multimodal data integration in oncology”的论文。在肿瘤学中，患者状态的特征是一整套模式，从放射学、组织学、基因组学到电子健康记录。当前的人工智能（AI）模型主要在单一模式领域运行，忽略了更广泛的临床背景，这不可避免地降低了它们的潜力。不同数据模式的集成为提高诊断和预后模型的稳健性和准确性提供了机会，使人工智能更接近临床实践。
人工智能模型还能够发现模式内和模式间的新模式，适合解释患者结果或治疗抵抗的差异。从这些模型中获得的见解可以指导研究，并有助于发现新的生物标记物和治疗靶点。这里作者简要介绍了多模式数据融合和关联发现的人工智能方法和策略。概述了人工智能可解释性的方法，以及通过多模态数据互连进行人工智能驱动研究的方向。并且讨论了临床应用中的挑战，并提出新的解决方案。
癌症是一种高度复杂的疾病，涉及一系列微观和宏观变化，其机制和相互作用尚未完全了解。癌症生物标记物以定量或定性测量的形式提供对疾病状态和病程的见解，从而指导患者管理。尽管生物标记物起着至关重要的作用，但具有相似特征的患者可能表现出不同的结果、治疗反应、复发率或治疗毒性。现在迫切需要确定新的和更具体的生物标记物。
现代癌症中心在患者的诊断和治疗过程中获取了大量数据，从放射学、组织学、临床和实验室测试，到家族史和患者病史，每种模式都提供了关于患者状态的额外见解。整合来自不同数据源的补充信息和临床背景的整体框架将能够发现新的、高度特异的生物标记，为下一代个性化医学铺平道路（图1）。
在主观分析过程中，对不同数据模式之间可能的相关性和模式的分析很容易变得过于复杂，使其成为人工智能方法的一个有吸引力的应用。人工智能模型能够利用来自多模态数据的各种补充信息，并识别模式内和模式间的预测特征，从而能够自动、客观地探索和发现新的生物标记物。此外，人工智能可以为现有但高度专业化且昂贵的标记物确定替代物，以促进靶向治疗和大规模人群筛查。
历史上，生物标记物发现过程通常涉及对潜在信息及其与临床关联的检查。手动评估需要耗费大量时间和资源，通常无法将观察结果从一种癌症模型转换为另一种。形态学癌症评估通常是定性的，具有很大的评分者间差异，这影响了重复性，并导致临床试验结果不一致。鉴于医学数据的复杂性，目前的生物标志物大多是单一模式的。然而，将生物标记物限制在一种单一的模式可能会降低其临床潜力。
在过去的几年里，人工智能（AI），特别是表征学习方法在许多临床相关任务中表现出了出色的性能。人工智能模型能够整合来自不同数据源的补充信息和临床背景，以提供更准确的患者预测（图1A）。通过可解释性方法和定量分析，可以进一步阐明成功模型确定的临床见解，以指导和加速新生物标记物的发现（图1C和1D）。
同样，人工智能模型可以发现多种模式之间的关联，例如某些突变与细胞形态的特定变化之间的关系，或者放射学发现与组织学特定肿瘤亚型或分子特征之间的关联（图1B）。这种关联可以确定现有生物标记物的可访问或非侵入性替代物，以支持大规模人群筛查或临床试验患者选择（图1E和1F）。
在这篇综述中，作者总结了多模式数据融合的人工智能方法和策略，概述了通过多模式关联和可解释性方法进行人工智能驱动探索的前景，并总结了人工智能在精确肿瘤学中的应用方向。
肿瘤学中的人工智能方法
人工智能方法可以分为有监督、弱监督或无监督。为了突出每个类别的特定概念，作者介绍了计算机视觉框架中应用于数字病理学的所有方法（图2）。
受监督的方法
受监督的方法使用带注释的数据点将输入数据映射到预定义的标签（例如，癌症/非癌症），例如带有注释的数字化幻灯片，或具有患者结果的放射图像。完全监督的方法包括手工设计和表示学习方法。
手工设计方法
这些方法将一组预定义的特征（例如，单元格形状或大小）作为输入，这些特征是在训练之前从数据中提取的，而不是数据本身。使用标准机器学习（ML）模型执行训练（图2）。模型通常具有更简单的体系结构、更低的计算成本，并且可能比DL模型需要更少的训练数据。缺点是，手动特征提取将限制模型对人类已知和理解的特征的能力，并阻止实用性和下游发现新的相关特征。
表征学习方法
深度学习（DL）等表示学习方法能够从原始数据中学习丰富的特征表征。卷积神经网络（CNN），这是图像分析中最常见的DL策略。CNN的主要优势在于能够从原始数据中提取丰富的特征表示，从而降低预处理成本，提高灵活性，并且通常比手工制作的模型具有更好的性能。潜在的局限性来自于模型对注释的依赖，可能会受到评分者之间的可变性和人为偏见的影响。
弱监督学习的方法
弱监督学习是监督学习的一个子类别，对大型数据簇进行批量注释。弱监督实用性的一个常见例子是在一个大的千兆像素全幻灯片图像中检测活检或切除中的小肿瘤区域。弱监督方法允许使用弱患者级别标签（如诊断或生存）训练模型，避免了手动数据注释的需要。最常见的弱监督方法包括图卷积网络（GCN）、多实例学习（MIL）和视觉变换器（VIT）。
图卷积网络
图形可用于明确捕获数据中的结构，并对对象之间的关系进行编码，使其成为分析组织生物图像的理想工具。在GCN中，节点的特征表示通过聚集来自相邻节点的信息来更新。然后，更新的表示将作为最终分类器的输入（图2）。与传统的数字病理深层模型相比，GCN可以结合更大的空间组织结构。另一方面，由于无法独立处理节点，GCN中节点的相互依赖性带来了较高的训练成本和内存需求。
多实例学习
MIL是一种弱监督学习类型，其中输入的多个实例没有单独标记，监督信号仅可用于实例。MIL模型包括三个主要模块：特征学习或提取、聚合和预测。在大规模医学数据集中，精细注释通常不可用，这使得MIL成为训练深层模型的理想方法，最近在癌症病理学和基因组学也有应用。
视觉变压器
VIT是一种基于注意力的学习，典型的VIT架构如图2所示。
无监督方法
无监督方法在不依赖任何标签的情况下探索数据中的结构、模式和子集。这些包括自我监督和完全无监督。
自我监督方法
自监督方法旨在通过将学习问题作为一项任务来从数据中学习丰富的特征表示，该任务的基本真理在数据中定义。此类编码器通常用于获得复杂高维数据集的高质量低维嵌入，以使下游任务在数据和训练效率方面更高效。
无监督特征分析
这些方法允许探索数据点之间的结构、相似性和共同特征。最常见的无监督方法包括聚类和降维。聚类方法将数据划分为子组，从而最大化子组内的相似性和子组之间的分隔。尽管输出聚类并非特定于任务，但它们可以揭示不同的癌症亚型或患者亚组。降维的目的是获得低维表示，以捕获数据中的主要特征和相关性。
多模式数据融合
多模式数据融合的目的是提取和组合不同模式的信息，以便更好地进行决策。这在医学中尤其重要，因为在一种模式下的类似发现可能与其他模式相结合具有不同的解释。人工智能提供了一种自动化和客观的方法，可以将来自不同数据的补充信息和临床背景结合起来，以改进预测。
多模态数据驱动的人工智能模型还可以利用模态中的补充信息；如果单模态数据有噪声或不完整，补充其他模态的冗余信息可以提高预测的准确性。人工智能驱动的数据融合策略可以分为早期、晚期和中期（图3）。
早期融合
早期融合集成来自所有模态的信息，然后将其输入到单个模型中。这些模式可以表示为原始数据、手工制作或深层特征。在早期融合中，只训练一个模型，从而简化了设计过程。然而，假设单一模式适用于所有模式。早期融合需要模式之间一定程度的对齐或同步。如果模式来自明显不同的时间点，例如干预前后，那么早期融合可能不是一个合适的选择。
早期融合的应用包括整合类似的模式，如用于乳腺癌检测的多模式、多视角超声图像，或将结构CT和/或MRI数据与代谢正电子发射断层扫描（PET）扫描融合，用于癌症检测、治疗计划或生存预测。
晚期融合
晚期融合，也称为决策级融合，为每种形态训练单独的模型，并将单个模型的预测汇总为最终预测。聚合可以通过平均、多数投票、基于贝叶斯的规则或学习模型（如MLP）来执行。晚期融合允许对每种模式使用不同的模型架构，并且不会对数据同步造成任何限制，使其适用于具有较大数据异构性或来自不同时间点的模式的系统。
中期融合
这是一种策略，其中来自多模态模型的损失传播回每个模态的特征提取层，以在多模态环境下迭代改进特征表示。相比之下，在早期和晚期融合中，单峰嵌入不受多峰信息的影响。中期融合可以在不同的抽象层次上组合不同的模式。此外，在具有三种或三种以上模式的系统中，数据可以一次全部融合（图3C），也可以跨不同级别逐渐融合（图3D）。
多模态可解释性
可解释性和模型自省是人工智能开发、部署和验证的重要组成部分。随着人工智能模型学习抽象特征表示的能力，人们担心模型可能会使用虚假的快捷方式进行预测，而不是学习临床相关方面。当提供新数据或歧视某些人群时，这些模型可能无法概括。另一方面，模型可以发现新的和临床相关的见解。在这里，作者简要概述了用于肿瘤学模型自省的不同方法（图4）。
组织病理学
在组织病理学中，VIT或MIL可以揭示模型预测中每个图像补丁的相对重要性。根据模型架构，可以映射注意力或概率分数，以获得幻灯片级别的注意力热图，如图4A所示，其中训练了MIL模型，以对WSI中的癌症亚型进行分类。
虽然没有使用人工注释，但该模型学会了识别每种癌症类型的特定形态学，并区分正常组织和恶性组织。如图4B所示，其中CNN被训练在图像补丁中对癌症亚型进行分类。相比之下，在注意力方法中，每个实例的重要性是在训练期间确定的，而基于CAM的方法是模型不可知的，即独立于模型训练。
放射学
在放射学中，可解释性方法与组织学中使用的方法相似。注意力得分可以反映幻灯片在3D扫描中的重要性。例如，在图4D中，训练了一个MIL模型来预测胶质瘤患者的存活率。即使在没有手动注释的情况下，该模型仍高度关注有肿瘤的幻灯片，而对健康组织关注度较低。因此，可以部署基于CAM的方法来定位单个幻灯片中的预测区域（图4F）。
分子数据
分子数据可以通过积分梯度法进行分析，该方法计算属性值，表明特定输入的变化如何影响模型输出。对于生存分析等回归任务，属性值可以反映重要性的大小以及影响的方向。图4C显示了用于胶质瘤患者生存预测的最重要基因组特征的归因图。其他表格数据，例如手工制作的特征或从EMR中获得的值，也可以用同样的方式进行解释。EMR也可以通过自然语言处理（NLP）方法进行分析，其中注意力得分决定了文本中特定单词的重要性（图4E）。
多模态模型
在多模态模型中，归因图还可以确定每个模态对模型预测的贡献。前面提到的所有方法都可以用于多模态模型，以探索每种模态的可解释性。
多模式数据互连
多模式数据互连的目的是揭示各种模式之间的关联和共享信息。这种联系可以为癌症生物学提供新的见解，并指导新的生物标记物的发现（图5）。
形态学联想
恶性变化常常在不同的范围内传播；致癌突变可以影响细胞行为，进而重塑组织形态学或组织学图像中可见的肿瘤微环境。因此，微观变化可能会影响PET或MRI扫描检测到的肿瘤代谢活性和宏观外观。通过发现形态之间存在形态关联，人工智能模型可以加强探索性研究，并减少可能的生物标记候选物的搜索空间。
虽然模型所使用的预测特征可能未知，但可解释性方法可以提供额外的见解。注意力热图可以揭示与特定突变预测相关的组织区域。在注意力得分高和低的区域，可以识别出不同的组织结构和细胞类型，并且可以进一步提取和分析其属性。聚类或降维方法可以用来检测有希望的特征，潜在地揭示突变状态和不同形态特征之间的关联。所识别的形态相关物可以作为经济高效的生物标记物替代物，支持在中低收入环境中进行筛查或揭示新的治疗靶点。
非侵入性替代方案
同样，人工智能可以发现无创和有创模式之间的关系。例如，人工智能模型用于根据肺癌、脑癌、肝癌和其他癌症的放射特征预测组织学亚型或分级。可以进一步分析预测图像区域，以识别具有可能诊断值的纹理和图案（见图5B），这反过来又可以作为现有生物标记物的非侵入性替代物。
早期预测因素
人工智能还可以探索患者诊断前获得的各种数据，以确定潜在的预测风险因素。电子病历提供了有关患者病史、药物、过敏或免疫接种的丰富信息，这些信息可能会对患者的预后产生影响。AI模型可以有效分析这些不同的数据，以搜索不同的患者亚组（图5D）。确定的亚组可以与不同的患者结果相关联，而归因图可以确定患者和人群水平上不同因素的相关性。
讨论
人工智能有可能对从预防到干预的整个肿瘤学领域产生影响。人工智能模型可以探索复杂多样的数据，以确定与癌症高风险相关的因素，从而支持大规模筛查和预防护理。这些模型可以进一步揭示不同模式之间的关联，以帮助从容易获得的数据中识别诊断或预后生物标记物，从而改善患者风险分层或临床试验的选择。以类似的方式，这些模型可以识别现有生物标记物的非侵入性替代物，以最小化侵入性操作。
需要通过临床研究和前瞻性试验进行严格的验证和检查，以验证人工智能模型的可靠性。人工智能在推进肿瘤学领域中的作用不是自主的；相反，正是模型和人类经验之间的伙伴关系将推动进一步的进步。随着癌症发病率的增加，我们有义务利用人工智能方法为患者提供服务。
教授介绍
Mahmood博士是哈佛医学院病理学助理教授，也是Brigham and Women’s Hospital的计算病理学部门的助理教授。他在日本冲绳理工学院获得生物医学成像博士学位，并在约翰霍普金斯大学生物医学工程系担任博士后研究员。他的研究兴趣包括病理图像分析、形态学特征和使用数据融合和多模式分析发现生物标记。
Mahmood实验室旨在利用机器学习、数据融合和医学图像分析，为癌症诊断、预后和生物标记物发现提供帮助。该实验室还专注于开发新的算法和方法，以识别与特定治疗药物反应相关的临床相关形态学表型和生物标记物。他们开发了多模式融合算法，用于结合来自多种成像模式、家族史和患者病史以及多组学数据的信息，以做出更精确的诊断、预后和治疗决定。
参考文献
Lipkova J, Chen RJ, Chen B, et al. Artificial intelligence for multimodal data integration in oncology. Cancer Cell. 2022;40(10):1095-1110. doi:10.1016/j.ccell.2022.09.012