腾讯在乳腺癌影像AI诊断方向的探索

导读：4月12日，2018中国“互联网+”数字经济峰会在重庆召开。当天下午的医疗AI分论坛吸引了众多国内顶尖的学术科研人士参与，×××院士、国家消化病临床医学研究中心主任李兆申，中国医学科学院、北京协和医学院教授乔友林，中国人民解放军军事医学研究院信息中心主任赵东升等名家受邀发表演讲，腾讯技术工程事业群架构平台部总监朱建平也发表了题为“打开人工智能乳腺疾病诊断的黑盒”的演讲，全面介绍了腾讯在乳腺癌影像AI诊断方面的进展，以下为演讲实录。

各位嘉宾大家好，今天给大家分享下我们在乳腺癌影像AI诊断方面的探索。这几年随着硬件计算能力的提升，以及深度学习模型的不断发展，AI在图片和语音识别方面取得了显著的进展。那AI应用在医疗里面，是不是只要把图像样本换成医疗影像就可以了呢？接下来基于我们在乳腺钼靶影像方面的实践，给大家分享下我们的一些认识和思考。

刚才前面几位专家介绍了×××诊疗的一些背景，现在让我们聚焦一下乳腺癌。在×××里面，肺癌是我国发病率最高的×××，而乳腺癌在我国女性恶性肿瘤发病率中是第一位的，它的年发病率在万分之四左右，并且发病率每年还在以3%～4%的速度增长。对于74岁以下的女性而言，一生中会有3%的概率患乳腺癌。另外一个事实是，对于发达国家而言，比如美国，在发现乳腺癌以后，患者的五年生存率达到了89%，但是据有关数据统计，我国乳腺癌患者的五年生存率不到60%。对于提升乳腺癌的生存率来说，乳腺癌的早筛早诊非常重要，医学影像AI诊断能辅助医生提升筛查效率，有效降低漏诊和误诊，有助于我国基层医院普及基于医学影像的乳腺癌筛查。

乳腺癌钼靶

在乳腺癌的诊疗过程中，主要有超声，钼靶，核磁共振（MRI），病理和基因等医学手段用于辅助诊断和治疗。其中超声和钼靶主要用于乳腺癌的初筛，MRI用于治疗效果的评估，病理用于×××的确诊以及治疗方案的评估。近年来，基因分析在肿瘤诊疗方面也得到了快速发展，主要用于遗传性乳腺癌的筛查以及个性化的精准医疗。目前我们团队完成了乳腺钼靶AI诊断产品的研发和落地，并且在核磁共振和病理方面，相关的研发的工作也已经展开。

乳腺钼靶的AI诊断要实现什么功能呢？主要是两类功能，第一个是疑似病灶的定位，我们需要钼靶图片中给出肿块灶和钙化灶两类病灶的位置。

第二个是病灶良/恶性的判别，给出病灶是恶性的概率是多少。这个项目得到了中山大学附属第一医院、广东省妇幼医院、安徽省妇幼医院等国内数十家医院的支持。感谢他们对本项目的大力帮助和支持。

首先，我们认为医疗AI在技术上主要分为三个层面，第一个层面是医学知识，第二个层面是医学影像的计算机视觉处理，第三个层面是AI的学习模型。具体到乳腺钼靶影像的AI识别上，我们的技术实现框架如图所示：

当拿到一份钼靶影像图片以后，首先进行医学影像的前处理，这个前处理是做什么呢？我们知道医学影像图片一般比较大，有时候有5000×5000像素这么大的图片，包含的信息也非常多，如果直接用于AI模型的训练，对于样本的数量和质量要求非常高，在实际中很难满足。为此，我们通过医学图像的前处理来实现数据的降维，减少无关信息的干扰。接下来，我们设计了符合钼靶图像诊断规律的AI模型——TMuNet，用于钼靶图像的肿块检测，钙化检测以及病灶的良恶性判别。最后，医学影像AI模型的研发不是一蹴而就的过程，它需要结合医生的反馈不断迭代，并加以改进和优化。

医学影像前处理这一层主要解决两个问题，第一个是做不同设备的适配问题，医院的钼靶设备来自包括西门子、GE等不同厂商，成像参数各不相同。我们设计了一个设备适配层来对不同厂商的钼靶图像进行了归一化处理，保证下游算法是统一的。第二个问题是影像图片中信息量过大的问题。我们向专业医生请教了不少医学先验知识，设计了一个感兴趣区域(ROI)提取层，结合病灶的医学特征，利用计算机视觉的技术把疑似病灶的区域提取出来，进行一个数据降维处理，以减少无关信息的干扰。

接下来是学习模型，虽然现在的学习模型很多，但是这些模型不能简单地在医疗AI领域直接使用，于是我们专门针对乳腺钼靶影像诊断的特点研发了TMuNet模型。TMuNet的第一个特点是支持Multi-View。一次钼靶检查得到的影像数据，包含左右乳房的MLO位和CC位共四张图片，这四张图片是有关联的，只用一张图片进行诊断的话，又面临“同影异病”和“同病异影”的问题。医生一般通过左右乳以及CC位和MLO位的对比来进行诊断。传统的CNN模型，只支持一张图片作为输入，无法利用图片之间的关联信息。TMuNet支持输入4张图片，较好地利用了4张图片的关联信息，融合了医生的诊断方式。

TMuNet的第二个特点是它是一个非形变多尺度的网络。传统的AI模型，图片的输入尺寸一般是固定的，比如inception模型要求输入图片的尺寸是299*299的，一般通过缩放图片来满足这个要求。而医学图像中病灶的纹理信息非常重要，如果实施图片缩放会导致这些信息的丢失，严重影响病灶识别的效果。病灶的大小不是固定的，如果不缩放图片，那么需要结合多大区域的局部信息以识别出病灶是接下来面临的问题。TMuNet是非形变多尺度的网络，支持原始医学影像图片输入，不做缩放，同时根据病灶的特征设计了多个尺度，以识别出不同大小的病灶。

 TMuNet的第三个特点是渐进式的网络构建方式。在钼靶AI模型的训练的过程中，现有的样本量不足以直接训练出一个复杂的神经网络。TMuNet采用了渐进的网络构建模式，开始时仅利用图片的局部信息训练出一个相对比较简单些的网络，然后在这个网络的基础上进行叠加，渐进式地训练出我们需要的目标复杂网络。

为支持产品上线后的快速模型迭代，我们使用了一个在线学习的模型。这个模型由两个部分构成，一个是基础模型，一个是实时模型。之所以需要实时模型是虽然我们基础模型在上线以后按照一两周迭代一次，但是速度还是太慢。所以用一个实时模型做了一个附加，能够根据医生的反馈实时的调整模型不准确的地方。

    

目前，钼靶AI识别在肿块检测和钙化检测方面已经达到90%以上的准确率，与人类专家医生的水准相当。在病灶的良恶性判别上，AI模型可以做到87%的敏感度和94.5%的特异度，而影像科专家一般只能做到82%的敏感度和62%的特异度。能够实现这个效果，一个非常重要的原因是，我们采用了被誉为×××诊断金标准的病理报告来辅助钼靶图片做标注，使得AI识别的效果能够超越影像科专家医生的水平。

接下来的钼靶AI研发方面，我们发现不同的训练样本对模型训练的价值是存在差异的，我们会在当前已有的模型的基础上，利用主动学习进一步补充标注样本，同时应用弱监督学习的技术来进一步挖掘数据的价值，提高样本标注的精准性，从而进一步提升AI模型识别的精度。

乳腺癌MRI&病理

接下来还有一点时间给大家讲一下我们团队在MRI和病理方面的一些工作。在MRI方向上，目前我们做的工作是借助AI技术去做一个半自动的标注工具。为什么要这样做？因为核磁共振的数据是一个多维的数据，数据非常复杂，在这样的数据上面做标注成本是非常高的。我们开发了一个标注工具，提高了医生的标注效率。具体来说，这个工具在医生标注前，先给了医生呈现了一个AI模型的标注结果，医生可以采用一个类似于PHOTOSHOP中魔棒工具一样的工具，非常简单高效的修正AI标注的结果，从而得到一个准确的标注数据。接下来，在MRI方向上，我们还会实现疑似病灶的定位，和病灶良恶性判别两个功能。

在病理方向上，我们计划开发3个功能。它们分别是有丝分裂检测，免疫组化和组织学分级。现在做的就是有丝分裂检测，这个功能主要是将病理图片中的有丝分裂细胞检测出来，提示给医生，提高医生的阅片效率。

刚才讲的病理和核磁共振的功能还在进一步研发，期待未来能够有机会跟大家做更详细的分享。今天我分享的内容就是这些，感谢大家！