2022-07-28

FGCS | AI在数字病理学中的可解释性挑战

原创 图灵基因 图灵基因 2022-07-28 11:47 发表于江苏

收录于合集#前沿生物大数据分析

人工智能（AI），特别是机器学习技术，正在改变病理工作流程。通过自动化组织分析的各个步骤，人工智能算法加快了诊断速度，提高了诊断准确性。然而，人类解释人工智能算法的能力较低，这进一步使其临床应用的监管审批复杂化，并限制了其在临床上的广泛应用。为了克服与AI可解释性相关的挑战，研究人员开发了可解释的人工智能（xAI）模型。然而，没有广泛接受的标准来确定AI算法的可解释性，并且缺乏评估临床医生使用AI模型的经验的研究。

在最近的一项研究中，柏林工业大学分布式人工智能实验室的研究人员进行了一项首创的混合方法研究，以评估病理学家对人工智能辅助图像分析任务的解释和可用性。该研究表明认知偏差会影响对最先进的xAI方法的解释，并且对AI辅助病理学的期望往往是不合理的。

“尽管人工智能在病理学方面的帮助为患者和诊断人员带来了难以置信的好处，但对于人工智能供应商来说，考虑建立解决方案可解释性的社会和心理方面是很重要的。为了充分做到这一点，必须根据真实用户研究的反馈和验证来开发可解释的AI解决方案。”分布式人工智能实验室研究员、该研究的第一作者Theodore Evans说。

在评论他们的发现对病理学AI模型开发的影响时，Evans指出：“对于临床人工智能认证监管方面的开发利益相关者来说，仔细定义透明度和可解释性的要求，并意识到将其作为临床人工智能系统的组件可能产生的二阶效应非常重要。”

这项研究将发表在2022年8月的《Future Generation Computer Systems》上，文章标题为“The explainability paradox: Challenges for xAI in digital pathology”。

研究理由：了解xAI可解释性悖论

“在确定用于医学成像应用的可解释AI的有前景的研究方向时，我们发现该领域的工作很少基于对用户与xAI系统的潜在交互的理解。”Evans说。“相反，大多数最先进的研究仅来自机器学习领域，仅基于研究人员对内部模型工作的哪些信息对任何特定利益相关者可能有价值的直觉。”他补充道。

Evans还指出，尽管已经进行了研究，以调查病理学中AI系统的可解释性要求，但没有研究直接评估现有xAI方法对该领域目标用户的影响。

他解释说，他们没有在已经很广泛的工作中添加另一种算法方法，而是着手更好地理解在数字和人工智能辅助病理学的背景下，将现有方法整合到人类和人工智能之间的交互中的含义。

为了更好地了解临床医生对现有xAI算法的使用模式和信任度，该团队使用在线问卷调查了25名病理学家或神经病理学家（12名顾问、6名研究人员、4名接受培训的病理学家和3名病理技术人员）。此外，通过视频采访询问了六名委员会认证的病理学家。

人工智能解决方案的差距和期望

该研究表明，在理解什么是人工智能以及如何利用它来改进或加速诊断方面存在重大差距。许多参与者表示，人工智能主要用于协助完成简单耗时的任务，包括细胞计数。

参与者还指出，人工智能算法可用于克服病理学家之间的差异。除了可重复性之外，它们整合多维数据（例如生物标志物表达、组织结构和细胞形态）的能力被描述为AI系统的另一个关键进展。

当被问及对AI算法的期望时，参与者表示速度是最高优先级。玻片扫描所需的时间过长通常被认为是阻碍临床采用AI辅助病理学解决方案的一个因素。当前AI解决方案的其他局限性包括与准确性、数据保护和缺乏标准化训练数据相关的问题。

信任人工智能解决方案

参与者表示，他们对AI系统的广泛使用和测试的判断和经验构成了判断系统准确性和可信度的基础。建议对AI模型的性能进行彻底的外部验证，以增加病理学家对人工智能辅助诊断系统的信任。

通过在线访谈接受调查的六位病理学家中有四位表示，他们相信让AI系统控制决策，并对AI系统给出与他们自己不同的结果持开放态度。这些发现表明对AI可靠性的总体信任。

对AI可解释性的期望

当被问及他们对AI可解释性的期望时，大多数参与者表示更倾向于简单的视觉解释。所有参与者还表示，如果解释可以与训练数据中的图像相关，他们将更有可能信任AI解决方案，并与病理学家通过参考以前的病例来证明诊断的合理性相提并论。

“我们的研究结果强调了意识到这种对简单性的偏好使我们容易受到的认知偏见的重要性。”Evans说。“作为用户，我们倾向于选择相关且易于理解的理由来解释为什么会取得某种结果。这也适用于我们与AI和xAI系统的交互，特别是病理学家与AI辅助临床决策支持系统之间的交互。”他补充道。

该研究还表明，病理学家在给出xAI的“解释”时，更倾向于接受对AI系统重要的诊断特征的先前期望。“这有可能使病理学家对AI结果或总体表现产生错误的信心，并导致总体上对AI辅助的不合理期望。”Evans解释说。

未回答的问题

“该研究的设计仅限于定性评估xAI对病理学用户的影响。它确定了人工智能开发中的利益相关者必须意识到的一些重要影响，但为避免、减轻或利用这些影响的新方法敞开了大门。”Evans说。

他补充说，对于不同解释方式对特定认知偏差倾向的影响，还有更多的定量研究空间。“EMPAIA财团和我们的研究合作伙伴继续开展这项研究，以更好地指导监管实践，并降低将人工智能安全应用于临床病理学的障碍。”他指出。