AI领域为何缺乏突破？前Quora工程VP：Hinton没有说到点子上

姓名：范凌峰    学号：16020188020

转载自：https://zhuanlan.zhihu.com/p/53139915

【嵌牛导读】：2018 年还剩 7 天！前 Netflix 研究／工程负责人、Quora 工程 VP，现人工智能创业公司 Curai 联合创始人&CTO Xavier Amatriain 回顾了这一年的机器学习／人工智能进展。让我们来看看他的观点。

【嵌牛鼻子】：AI

【嵌牛提问】：AI领域为何缺乏突破？

【嵌牛正文】：

如果非要用几行字总结 2018 年机器学习领域的亮点，那么我会用以下四条来总结：

AI 炒作和散播 AI 恐惧降温

更加关注具体问题，如公平性、可解释性或因果关系

深度学习对图像分类以外的实践也很有用（尤其是 NLP）

AI 框架之争逐渐白热化。如果你想在该领域功成名就，最好先发布自己的框架。

接下来我们来看一下具体内容。

AI 炒作和散播 AI 恐惧降温

2017 年可能是散播 AI 恐惧和 AI 炒作的一年，而 2018 年这些「宣传」开始降温。尽管一些大人物继续发表关于 AI 恐惧的言论，但他们或许太忙了，没把这件事当作日程重点。同时，媒体等群体在对待这个问题时似乎变得较为平静，尽管自动驾驶汽车和类似的技术不断发展，但不会立刻成真。也就是说，仍然有声音在抵抗「约束 AI 而不是约束 AI 产出」的糟糕主意。

更加关注具体问题

过去这一年，人们的关注点似乎转移到可以解决的更具体问题。例如，关于公平性的讨论增多，不止很多学术会议在谈论这个话题，一些在线课程（如谷歌开发的课程）也在讨论公平性。

这一年，可解释性、解释（explanation）、因果关系等问题也得到了广泛讨论。因果关系似乎重新引起了大家的注意，这主要是因为 Judea Pearl 著作《The Book of Why》的问世。Judea Pearl 不仅决定写下自己的第一本「通俗」读物，他还在 Twitter 上鼓励大家讨论因果关系。实际上，即使最通俗的媒体也把因果关系描述为现有 AI 技术的「挑战」，甚至 ACM Recommender Systems Conference 的最佳论文就在讲如何在嵌入中纳入因果关系（《Causal Embeddings for Recommendations》）。也就是说，很多作者认为因果关系某种程度上是一种理论偏移，我们应该重新关注更具体的问题，如可解释性或解释。说到解释，这方面的一大亮点是 Anchor 论文和代码的发布（Anchors: High-Precision Model-Agnostic Explanations），这是著名的 LIME 模型作者的后续之作。

深度学习对图像分类以外的实践也很有用

尽管深度学习作为最通用的 AI 范式仍然存在很多问题，尽管 Yann LeCun 和 Gary Marcus 就此辩论了 n 次，但是我们可以确定的是深度学习不止于此，从可以提供的能量来看，它离到达平台期还很远。具体来说，这一年深度学习方法在视觉以外的其他领域取得了空前成功，包括语言、医疗等。

今年最有趣的进展实际上出现在 NLP 领域。如果非要我选择今年印象最深刻的 AI 应用，那么我选择的两个都是关于 NLP 的（而且都来自谷歌）。第一个是 Smart Compose，第二个是 Duplex 对话系统。

NLP 的大量进展受到使用语言模型这一思路的启发，ULMFiT 使大家了解到语言模型的力量（参见：NLP 领域的 ImageNet 时代到来：词嵌入「已死」，语言模型当立）。我们看到很多其他（以及改进版）方法，如 Allen 的 ELMO、Open AI 的 transformer和谷歌近期提出的BERT。这些模型被描述为「NLP 的 Imagenet 时刻」，因为它们提供了即用的预训练通用模型，可在用于特定任务时再进行微调。除了语言模型以外，还有很多有趣进展，如 Facebook 的多语言嵌入系统。我们看到这些方法很快被整合到更通用的 NLP 框架，如 AllenNLP 或 Zalando 的 FLAIR 框架。

AI 框架之争

在框架方面，2018 年，「AI 框架之战」白热化。令人惊讶的是，Pytorch 似乎追赶上 TensorFlow。尽管将 Pytorch 用于生产环境仍然是次优的，但 Pytorch 在这方面的追赶速度超过 TensorFlow在易用性、文档和教育方面的追赶速度。有趣的是，选择 Pytorch 框架来实现 Fast.ai 库可能发挥了很大助力。不过，谷歌意识到这些，并走在正确的方向上，如将 Keras 集成到 TensorFlow 中、聘用具备开发者背景的管理者 Paige Bailey。不管怎样，我们都从这些很棒的框架中获益良多。

在框架空间中取得很多有趣进展的另一个领域是强化学习。虽然我觉得 RL 研究进展不像前几年那样令人印象深刻（只能想起来 DeepMind 的近期研究IMPALA），但在仅仅一年的时间里看到所有主流 AI 玩家发布 RL 框架还是非常惊喜的。谷歌发布了Dopamine研究框架，Deepmind 发布了颇有竞争力的 TRFL 框架。Facebook 不甘落后，发布了Horizon，微软也发布了专门用于训练基于文本的智能体的 TextWorld。希望这些开源福利可以帮助我们在 2019 年取得更多 RL 进展。

谷歌最近发布了基于 TensorFlow 的 TFRank。排序是 ML 应用中极其重要的一个应用方向，应该得到更多应有的重视。

基础性突破

深度学习似乎已经消除了对数据的精细要求，但事实并非如此。在提高数据质量方面的研究仍然有非常有趣的进展。例如，尽管数据增强之前就被提出，对很多 DL 应用都很重要，但今年谷歌发布了一种可自动增强训练数据的深度强化学习方法——auto-augment。一种更加极端的想法是用合成数据训练 DL 模型。这方面的实践已经有了一些，许多人将其看做 AI 未来的关键所在。英伟达在其论文《Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization》中展示了有趣的新想法。在《Learning from the experts: From expert systems to machine-learned diagnosis models》中，我们还展示了如何使用专家系统生成可用于训练 DL 系统的合成数据，这些数据甚至可在与现实世界数据相结合后用于 DL 系统训练。最后，利用「弱监督」减少大量手工标注数据需求的方法也很值得一提。Snorkel 就是一项有趣的项目，旨在通过提供一个通用框架改进弱监督方法。

要说 AI 领域还有什么基础性突破，我看到的并不多。我并不完全赞同 Hinton 的观点，他认为 AI 领域缺乏创新是因为这一领域的研究者「年轻人多，资深者少」，尽管必须承认，年纪较大的人比较容易取得研究突破。在我看来，缺乏突破的主要原因在于，现有方法及其变体还有很多有趣而实用的应用，因此研究者不愿去冒险尝试现在看来并不实用的方法。这一领域的大部分研究都是由大公司资助的，因此这点更加明显。一篇有趣的论文《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》确实挑战了一些假设。尽管这份研究是高度经验性的，使用的也是已知的方法，但它打开了发现新方法的大门，证明公认的最佳方法实际上并不是最佳的。另一篇具有探索意义的论文是NeurIPS 最佳论文《Neural Ordinary Differential Equations》，它挑战了 DL 中的一些基本内容，包括层本身的概念。