深度剖析现阶段的多模态大模型做不了医疗

导读

在人工智能的这波浪潮中，以ChatGPT为首的大语言模型（LLM）不仅在自然语言处理（NLP）领域掀起了一场技术革命，更是在计算机视觉（CV）乃至多模态领域展现出了令人瞩目的潜力。

这些先进的技术，以其强大的数据处理能力和深度学习算法，正在被广泛应用于医疗影像分析、辅助诊断、个性化治疗计划制定等多个方面。相信大多数小伙伴都坚定不移地认为大语言模型（LLM）和图文多模态大模型的崛起无疑为医疗领域带来了革命性的变革。

然而，作为一线医疗AI从业者，本文作者（廖方舟，知乎@https://www.zhihu.com/people/liao-fang-zhou-31）却提出了一种截然不同的观点，即在当前的技术和数据储备下，多模态大模型在医疗辅助诊断领域难以取得重大突破。

今天的文章将为大家揭示多模态大模型在辅助诊断、异常检测等方面的潜力与局限，作者不仅分享了对当前技术的深刻见解，还提出了关于数据质量和模型训练的重要思考。如果您对AI在医疗领域的应用充满好奇，或者正在寻找行业内部的深度分析，欢迎深入阅读本文，详情请移步至文末阅读原文。

背景

2023-2024年，科技领域最引人注目的进展无疑是大语言模型（LLM）和图文多模态大模型的飞速发展。除了通用模型的突破，各垂直领域的大模型也如雨后春笋般涌现。医学作为一个至关重要的垂直领域，也见证了多项关键进展。例如，Google Health的Med-PaLM 2 和 OpenAI 的ChatGPT 声称能够通过美国医生资格考试，并具备一定的多模态能力来进行基础的读片工作。

大语言模型在众多自然语言处理（NLP）任务中表现出色，逐渐统合了许多独立的NLP领域。随着数据规模的增加，大语言模型的表现遵循“Scaling Law”不断提升。在翻译、编写代码等应用场景中，ChatGPT 已经迅速推广，取代了许多旧有工具。

这种趋势迫使尚未涉足大模型领域的人们重新思考：是否也应该投入大模型的开发？大模型是否会对现有行业带来巨大冲击？作为医疗AI从业者，我在这些问题上进行了反思。本文将分享我对大模型在医疗领域的一些看法，欢迎大家批评指正。

我得出的基本结论是：在当前的技术和数据储备下，多模态大模型在医疗辅助诊断领域难以取得重大突破。

定义

多模态大模型是指能够同时处理和整合来自多种输入形式（如文本、图像、音频等）的大型机器学习模型。这些模型通过理解和生成多种形式的数据，能够执行跨模态任务，例如从图像生成描述性文本，或根据文本生成相关的图像。这类模型结合了视觉和语言理解能力，使得它们能够在多种应用场景中发挥作用，从而突破单一模态的限制，提供更加丰富和交互性强的用户体验。

多模态大模型的技术架构

多模态大模型通常由一个多模态嵌入模块、跨模态注意力机制和解码器组成：

• 多模态嵌入模块：将不同模态的数据转换为共同的向量表示。这可以通过独立的编码器（如卷积神经网络用于图像，变压器模型用于文本）实现。
• 跨模态注意力机制：允许模型关注不同模态数据中的相关信息，使得一个模态的特征可以增强或补充另一个模态的特征。例如，在图像描述生成中，模型可以利用图像的特征来聚焦生成文本的内容。
• 解码器：将整合后的多模态特征转化为具体的输出形式，如生成自然语言描述、生成图像或其他形式的数据。

在医学应用中，常见的场景是智能读片，即输入X光或CT图像，由模型解读后自动生成报告。患者可以根据模型的反馈进一步提问，深入咨询预期的病情变化、疾病成因、治疗手段等。

一个例子：https://stanford-aimi.github.io/chexagent.html

根据上述技术架构，我们可以看到，大模型在进行描述时，类似于人类，边看图边说话，它的“眼睛”会寻找图像中与问题最相关的部分，提取该区域的特征并进行语言组织。

难点1：微小目标识别

模型要准确描述图像内容的前提是“注意”到图像中的异常之处，这个过程基本等同于“异常检测”或“显著性检测”。医学图像与自然图像的主要区别在于对小目标检测的重视，例如在肺部CT中，结节检测的下限通常是3-4毫米，即4-5像素。考虑到典型的薄层CT图像尺寸为300x512x512像素，这种结节在原图中所占比例仅为1/1e6，在二维图像上相当于1080p照片上的一个像素。

以这张照片为例，普通自然语言描述的输出可能是：

一个人穿着正式服饰，拿着一张演讲稿纸，准备在麦克风前发表演讲。

而模仿医生写报告的方式，输出结果可能是：

下巴有一颗痣，色淡，半球状，无危，直径4mm

这一简单描述综合了器官检测、异常检测、细粒度识别、分割测量等任务，这也是医学AI软件常用的模型拆解思路。在异常检测中，可以使用密集锚点（dense anchor）和相对简单的骨干网络（backbone）提取所有可能的位置点，在细粒度识别中，则只用关注异常位点，使用较复杂的