DeepMind可以预测重症疾病了？还早着呢……

全文共4180字，预计学习时长8分钟

谷歌机器学习公司宣称已成功预测出一种致命的肾脏疾病，但其结果引发了有关数据权和疾病多样性的问题。

戴密斯·哈萨比斯(Demis Hassabis)，DeepMind Technologies软件开发人员兼联合创始人。图为戴密斯·哈萨比斯2017年1月16日于德国慕尼黑举行的DLD大会上发言。图片来源：图片联盟/盖蒂图片社

谷歌旗下的人工智能公司DeepMind已经进军医疗保健领域有一段时间了。

在一篇发表于《自然》(Nature)杂志上的论文中，DeepMind与退役军人事务部(Veterans Affairs)和伦敦大学学院(University College London)的联合作者声称，他们在医疗保健方面取得了迄今为止最大的突破：人工智能可在急性肾损伤(AKI)发生前至多两天内预测病情。

急性肾损伤(AKI)是一种肾脏突然停止功能导致血液中毒素积聚的疾病，在重症监护病患中十分常见，每年美国有数十万人因AKI死亡。DeepMind称，如果它能提前预测出哪些患者可能会患上AKI，那么医生阻止或逆转AKI的恶化就会变得容易得多，从而救人于病痛。

图片来源：unsplash.com/@averey

然而，除却头条新闻和DeepMind报纸上满载的希望，还有四个毫不夸张的事实。 

首先，在事情发生以前，没有任何事是可以预测的。更确切地说，DeepMind只是意外收集了一份数据集，该数据集记录了美国退伍军人肾脏损伤的部分历史事件，以及每人的约9000个数据点，并使用神经网络找出了两者之间的模式。

其次，这种预测模式只在某些时候有效。总体准确率为55.8%，预测越早，准确率越低，每准确预测一次将产生两个误报。

第三，也是最值得注意的一点：这项研究几乎完全是针对男性进行的——确切地说，是针对93.6%的退伍军人的数据集。鉴于人工智能领域的危机在于缺乏多样性、偏见和歧视的扩大，这一点非常重要——但令人惊讶地是，此时却被轻描淡写一笔带过了。

第四，DeepMind的一位发言人对此回应称:“该数据集代表了退伍军人管理局的人口，与所有深度学习模型一样，在得到更广泛的应用之前，它还需要更多具有代表性的数据。”“但这让DeepMind对这项研究及其结果的解读变得非政治化——它既不是作为可供美国退伍军人使用的工具，甚至也不为男性效力的指示性共居，而是一种可广泛应用的突破性创新。”

除了以上非常明显的不足之外，DeepMind的分析还存在一些遗漏点，有些甚至是基础性的。

在退役军人事务部数据中，有13.4%的患者受到肾脏损伤的困扰，是美国平均20%住院患者的三分之二。这种差异在退伍军人这样的特定人群中很有趣，这表明退役军人事务部的病人特征、医生的选择和临床实践中可能存在某种关联。但是《自然》杂志的研究却缺乏相关背景和解释，比如退役军人事务部的临床医生是如何发现并试图预防肾脏损伤的，或者患病人群的特征及其变异，这些重要的基本信息是不可能询问的。

图片来源：unsplash.com/@nmelchorh

同样，研究人员也没有试图解释使用的人工智能模型。模型的原理是什么？为什么决定用这种方式构建模型？为什么该模型在理论上适用于这个特定的数据集，以及如何有效地推广到更广泛的人群？人工智能是如何满足特定患者类型的需求的?这种算法会对患者产生什么影响？

一位发言人表示，DeepMind旨在通过补充信息和一份非同行评审的协议文件，为退役军人事务部研究中做出的所有决定辩护。

然而，这些问题都没有得到确切的回答，因此，这项研究充斥着无法解释的、可能具有医学指导意义的选择，以及细节上的遗漏点（比如深度学习模型发现的36个显著特征及其含义）和异常值——这可能对一个干净模型产生干扰，但最终都代表了真实的患者。

但即使所有这些错失的机遇和不足都得到了解决，DeepMind的美国健康研究还有一个更大的课题，那就是新发表论文的剩余部分。

退伍军人远不是DeepMind预测肾脏损伤的第一个尝试，且很有可能也远不是第一个选择。至少从2015年起，该公司就一直在努力解决可避免的患者伤病问题。当时，该公司与英国皇家自由信托基金会(Royal Free London NHS Foundation Trust)首次达成协议，获得了160多万病人完整的医疗记录。

2016年，由于直接获取了如此珍贵的私人信息，DeepMind卷入了一场有关合法性的重大数据丑闻。2017年，英美数据监管机构裁定，DeepMind在几个主要方面侵犯了患者权利并由此获利。整个事件造成了严重的声誉损害，自那以后一直如此。

图片来源：unsplash.com/@dtopkin1

到2018年底，谷歌单方面采取行动，将DeepMind的医疗部门并入谷歌健康部门，并将其重组。由于DeepMind的医疗合作伙伴中没有一家同意将合同全部转让给谷歌，这一行动仍未完成。

DeepMind对退役军人事务部的研究指向了一个关键问题。显然，DeepMind在英国收集的患者数据集是美国退役军人数据集的三倍，且明显更加多样化。那么，DeepMind为什么会选择与美国退役军人合作，而不是与Royal Free医院的病人合作，来完成《自然》杂志的研究呢?

DeepMind将这一选择合理化，认为它只是为不同的项目与不同的合作伙伴合作的简单选择之一。但更可信的答案可能是，人们认为英国的法律和声誉风险更大特别是关于重新使用有争议的Royal Free的病人数据。

然而，相比之下，退役军人事务部的数据并不简单。尽管在被转移到DeepMind之前，美国对每个病人进行了去身份识别，在长达15年的时间里，每人收集了9000个数据点，但仍然有可能至少有一个病人能够通过专家方法重新进行身份识别。

这就是将数据处理纳入个人数据范围所需要的全部内容，因此也就是欧盟的《通用数据保护条例》。

DeepMind和Royal Free最初的数据丑闻还留下了另外两项遗留问题。

首先，尽管处理这些数据涉及隐私问题的法律基础明显存在漏洞，但在英国管理局的支持下，DeepMind仍然拥有全部数据。(DeepMind将自己比作一个临床数据存储系统，随时准备为每一位皇家免费医院的病人提供记录，即使这些病人近十年来从未入住医院，也没有明确的护理需求。)这表明，就像退役军人事务部(Veterans Affairs)提供的大礼一样，DeepMind能够以一种其他人无法实际实现和辩护的方式对极其宝贵的数据集获得并保持访问权。其次，DeepMind和Royal Free都决心为这一切带来一个好消息，而忽略任何不便的担忧。

正是本着这种精神，2017年初，Royal Free开始推动一项名为Streams的临床部署。DeepMind的这款临床智能手机应用建立在数据传输的基础上，旨在与患者数据和测试接口，并生成推送警报。重要的一点也是令人感到讽刺的是，Streams并不是一个人工智能工具，它由标准测试和标准公式驱动。但DeepMind是一家人工智能公司，因此Streams注定要发展成为人工智能工具。

《自然数字医学》(Nature Digital Medicine)杂志上一项引人注目的评估显示，尽管宣传甚嚣尘上，使用Streams对患者的治疗结果并没有明显的有利影响。

因此，多年来，其他与退伍军人事务研究协调发表的论文也因此产生了联系。与此同时，人们提出了一些预测肾脏损伤的人工智能模型（即使都是针对美国退役军人的模型）。尽管这些模型目前还有些不稳定，且存在多种缺陷，人们已结合一系列有关Streams的评估将其作为一种临床工具。

然而，这些评估报告使人对Streams留下了不温不火的印象。《自然数字医学》(Nature Digital Medicine)杂志上一项引人注目的评估显示，尽管宣传甚嚣尘上，使用Streams对患者的治疗结果并没有明显的有利影响。

医学互联网研究杂志(JMIR)上一项相关用户研究中—— 47位Royal Free的临床医师中的其中19位分享了六部携带Streams的iphone——实际上，尽管已有所承诺，这个应用程序创造了更多工作机会的同时也带来了更多的焦虑,并且可能需要雇佣更多的人来监控和响应警报，而这往往是不必要的。

但最后，JMIR上发表的一篇关于成本的评估论文称，假设不改变人员配置（因此只是希望临床医生承担用户研究中确定的工作量和相应焦虑），Streams可以为每位患者平均节省不到2,600美元的成本。深入研究补充文件包含的数据支持成本估计,似乎没有使用Streams的控制医院也观察到，从统计上来看，主要成本在显著减少，值得进行比较，并可能对中心的说法提出质疑。

图片来源：unsplash.com/@fr3nks

但对于DeepMind来说，考虑到整个过程的重要性，这些或许都是无关紧要的细节。这份由DeepMind联合创始人穆斯塔法•苏莱曼(Mustafa Suleyman)联合撰写的论文指出:“我们没有把提供这项技术的成本计算在内，因此，我们不可能判断它整体上是否会节省成本。”“我们的研究结果表明，若每位患者的技术成本低于1,600英镑(合1,945美元)，那么数字化医疗途径将节省成本。”

我们无法联系到JMIR成本研究的作者发表评论，但DeepMind的一位发言人强调，尽管《自然数字医学》的研究表明使用Streams临床结果并没有显著改善，但评估报告明显提高了AKI识别的可靠性和速度，且提供了一些关键治疗和专科护理的时间框架，同时表示医疗成本将有所下降。

因此，Streams似乎是DeepMind的典型工作方式。它在临床结果方面几乎没有提供什么全面性的进展，甚至给医生带来了焦虑和额外的工作量，而且是建立在对患者数据的获取存在严重争议的基础上的。无论谷歌和DeepMind打算在美国做什么，二者都需要彻底改变其对人类权利、解释和成本等最基本首要事项的态度，而不是机器。在获取盈利或冲动宣布人工智能在未来医学中具有核心地位之前，这些更为重要的。

留言 点赞 发个朋友圈

我们一起分享AI学习与发展的干货

编译组：廖琴、余书敏

相关链接：

https://onezero.medium.com/deepminds-latest-a-i-health-breakthrough-has-some-problems-5cd14e2c77ef

如需转载，请后台留言，遵守转载规范

推荐文章阅读

ACL2018论文集50篇解读

EMNLP2017论文集28篇论文解读

2018年AI三大顶会中国学术成果全链接

ACL2017 论文集：34篇解读干货全在这里

10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你