2020年AI将会如何发展？吴恩达、周志华、Yann LeCun等大神对2020年 AI 发展趋势的预测的预测...

点击上方“深度学习技术前沿”，选择“星标”公众号

资源干货，第一时间送达

本文选自deeplearning.ai

终于，我们开启了 2020 年的进度条，在新的一年里 AI 领域将会有怎样的发展？我们需要听听各位学界大牛的预测。

Coursera 联合创始人、斯坦福大学副教授吴恩达创办的 deeplearning.ai 刚刚发布了最新一期文章，其中不仅有周志华、Yann LeCun 等人对于新年 AI 发展趋势的预测，还有著名学者们对于整个研究社区的期许。

新年快乐！

每个元旦假期，我都会围绕一个新主题展开学习。今年我和家人一起度过了这几天，也看了很多书。

在十年以前，我的年度学习目标还是教学方法——我仍然记得自己拖着沉重的书箱去机场——这些努力在 Coursera 成立初期起到了非常重要的作用。去年，在 Nova（译注：吴恩达的女儿）出生之前，我看了很多有关育儿保健的书。

今年我在关注表观遗传学的最新进展。

对抗年龄增长的科学（有时候是伪科学）。

我还拜访了自己 101 岁的祖父，告诉他我正在读书，他和我说保持好奇心是长寿的关键。

如果他是对的，我觉得很多读者们都可以开心地活到 101 岁！

祝你有一个完美的 2020 年，用好奇、学习和爱填满它。

不断学习吧！

Andrew

对于 2020 年的期望

我们进入了前程似锦的新十年，机器学习已经在传统工业和制造业中展现了自己的实力。不过我们还面临着一些重要问题，比如如何在保护隐私的情况下收集数据，避免草率的系统设计，在到达现有技术的极限之前找到另一个突破口。

在本文中，Deeplearning.ai 邀请了很多 AI 领域里最著名的学者，让我们看看大牛们对于新年的展望：

Anima Anandkumar：模拟器的力量

英伟达机器学习研究部门主管、加州理工学院计算机科学教授 Anima Anandkumar。

深度学习在有标记数据的情况下取得了很大成功。现在我们需要探索其他的学习方法了：训练未标注的数据，终身学习，特别是让模拟环境中学到的知识迁移到现实世界中来。在 2020 年，我希望能够看到更多这方面的研究。

高度仿真的模拟环境可以让我们更有效率地训练和测试算法，构建更加鲁棒、更有适应型的网络。大多数情况下，在虚拟环境中获得的训练要比在真实世界中多出很多倍。我们可以在模拟环境中重现现实世界中很少出现的危险情况。

例如我们开车时，事故极少发生。在这样的情况下即使行驶数万英里也很难让 AI 有所进步。如果你只在真实世界数据中训练自动驾驶汽车，它们就无法学会如何应对各种事故。但在模拟器中，我们可以生成各种变化，为模型找到现实世界中各种可能性的数据分布，这样才能让机器更加安全。

 

最近，模拟器已经帮助我们在强化学习中获得了惊艳的效果，这是非常耗费数据的。但如果研究人员只有少量真实世界的数据，模拟在监督学习中也非常有用。比如地震是罕见且难以测量的自然现象。加州理工学院地震实验室的研究人员使用一个简单的物理模型来生成代表这些事件的综合数据。通过训练合成数据，深度学习模型达到了在真实世界的地震中准确预测地震的 SOTA 水平。

在英伟达，我们一直致力于开发强大的模拟器平台，如面向自动驾驶汽车的 Drive Constellation，面向机器人的 Isaac。这些开放、可扩展的环境能够使模型在具有真实世界物理学设定的环境中进行训练。

我希望能有更多的 AI 科学家认识到模拟环境以及监督学习之外方法的重要性。这将会让 2020 年成为 AI 获得重要进展的一年。

Oren Etzioni：更高质量的工具

华盛顿大学计算机科学教授、Allen 实验室 CEOOren Etzioni。

我希望在 2020 年，AI 社区能够真正地让弱势人群从新技术中受益。

我们花费了很多时间讨论算法的公平和透明，这是必不可少的工作。但这是开发具有切实影响的软件工具的必经之路。AI 系统必须要有提升人民生活水平以及解决一些社会重要挑战的能力。

想象一下坐着轮椅的人使用手机导航，却看到面前是楼梯的情况。如果用户无法自定义导航软件，即使是最先进的导航算法也会遇到严重挑战。

 

现有技术可以为行动不便的人提供支持，比如 AccessMap，这是华盛顿大学 Taskar 中心的一个项目。但我们其实还可以做到更多。值得庆幸的是，我们生活在一个大多数内容都「触手可及」的时代。

无障碍化、教育、无家可归、交通堵塞——AI 可以在各个方面显著提高人类的生活质量。到目前为止，我们还只是涉及表面。在刚刚到来的一年里，让我们深入探讨这些问题吧。

Chelsea Finn：构建更具泛化能力的机器人

斯坦福大学计算机科学和工程系助理教授 Chelsea Finn。

现在，AI 社区过多地关注一些浮华的研究成果，如赢得围棋等游戏比赛的智能体。就复杂度而言，这类研究工作令人印象深刻。但很容易忽略了智能应用的另一重要评估轴：泛化性，即处理各种任务或者在各种情景中运行的能力。所以在 2020 年，我希望人们可以构建更具泛化能力的模型。

在监督学习领域，在包含 1400 万图像的 ImageNet 数据集上训练图像识别器可以实现一定程度的泛化能力。在强化学习领域，模型通过与虚拟环境交互以及收集数据来学习。为了构建一定水平上的通用技能，人们习惯于将模型在 ImageNet 数据集上训练，所以需要为每个新模型收集 ImageNet 规模的数据集，但显然这是不现实的。

所以，如果我们想要通过强化学习训练的系统具有泛化能力，则需要设计能够从离线数据集中学习的智能体。此外，就像 ImageNet 数据集图像数量从最初的 100 万增加到 1400 万一样，现有的这些数据集也需要随时间推移而扩展，从而适应现实世界的变化。

这种情况正开始发生。例如，机器人可以通过学习包含自身交互行为的数据集以及人们操控机械臂的演示，来想出如何使用新的物体作为工具。我们也可以做到充分利用来自其他机构的数据。

因此，在 2020 年，我希望强化学习中的泛化性能能够迎来重大进展。如果能够解决这些挑战，机器人将可以在现实世界中更加地智能化，而不只是在实验中做一些看似智能的事情。

Yann LeCun：从观察中学习

纽约大学计算机科学教授、Facebook 副总裁兼 AI 首席科学家 Yann LeCun。

通过 20 个小时的练习，很多人就能够学会安全地驾驶汽车，而对于现在的模仿学习算法来说却需要几十万个小时，而强化学习算法要花费数百万个小时。这是为什么呢？我们显然忽略了一些重要的东西。

人类可以高效地学习，因为我们的头脑中已经搭建起了关于世界的模型。婴儿时代的我们几乎无法与世界互动，但在生命最初的几个月中，我们吸收了大量的背景知识。显然，我们大脑的很大一部分是用来了解这个世界的构造，然后预测那些将在未来发生、我们可能无法直接观察到的事情。

这表明，AI 的发展方向是自监督学习。它类似于监督学习，但不会训练系统去将数据示例映射到分类。比如，我们遮盖了视频的某些帧然后训练机器去填补那些丢失掉的片段。

近来，这种方法在自然语言理解方面取得了成果，比如像 BERT、RoBERTa、XLNet 和 XLM 上都是用自监督的方式进行训练，用来预测文本中缺失的单词部分。诸如此类的系统在主要的自然语言基准中都保持着训练记录。

2020 年，我希望这样的变革也会发生在视频和图像领域，自监督方法可以用来学习视频和图像的特征。但目前看来还存在一些挑战，其中一项严峻的挑战是如何应对不确定性，像 BERT 这样的模型无法判断句子中丢失的单词是猫还是狗，但是它们可以生成一个概率分布向量。

在视频或者图像方面，我们还没有一个好的模型，但近期的研究预示着我们已经接近成功了。在训练样本很少的视频方面，想要实现很好的预测，这之前压根是不可能的。所以 2020 年将会成为非常激动人心的一年。

李开复：AI 无处不在

创新工场董事长兼 CEO 李开复。

眼下，AI 已经从「发现」阶段过渡到了「落地」阶段。在我们所投资的中国的公司和团队中，可以看到 AI 和自动化技术正在银行、金融、交通、物流、超市、餐厅、仓库、工厂、学校和药品等各个领域开展广泛的应用。

但从整体经济的层面去观察，只有一小部分企业开始应用 AI 技术，所以还存在很大的增长空间。

我相信 AI 会像电一样，在技术进步的历史上留下浓墨重彩的一笔。在接下来的十年或者二十年，AI 会将渗透到个人生活和企业生产中，提供更高效和更智能的体验。如今，正是企业充分拥抱 AI 技术并推动社会前进的时候。

我个人对健康和教育领域的 AI 技术应用非常感兴趣，这两个领域已经准备好接受 AI 技术的洗礼。

我希望在 2020 年之后，更多的企业能够充分地应用 AI 技术。

David Patterson：更快的训练和推理速度

加州大学伯克利分校计算机科学教授，图灵奖得主 David Patterson。

在 AI 硬件领域投入的数十亿美元将在 2020 年初见成效。

2017 年，谷歌因 TPU 研发投入了巨额成本。在过去的一年中，来自阿里巴巴、Cerebras、Graphcore、Habana 以及英特尔的 AI 处理器都处于筹备阶段。这些新型芯片会慢慢走进研究实验室和数据中心。我希望整个 AI 行业能够欢迎这其中的表现优异者，推动该领域朝着更好的模型和更有价值的应用方向发展。

机器学习工程师如何判断新的代替方案是否比传统 CPU+GPU 方案具备更强的性能呢？

计算机架构是根据曲线而不是绝对比例进行分级的。为了适应不同计算机的尺寸，我们通过价格、功率和芯片数量实现性能的归一化。参赛者选择一组具有代表性的程序作为基准，相比于其中的某个项目，众多项目的平均分数可能更具代表性。

MLPerf 是一个最新的机器学习基准，由来自 50 多家公司和 9 所大学的代表联合创建。它包括用于测试推理和训练的程序、数据集以及像精确度目标和超参数值一些重要的细节。这个基准每三个月会更新一版。

Richard Socher：自动摘要生成将迎来大发展

Salesforce 首席科学家 Richard Socher。

在网络时代，人们只要在搜索框里输入几个字，即可以找到自己想要的人类知识。但是，不同的人会有不同的观点和看法，也会出现不一样的事实，对它们的管理依然面临着挑战。人们很难从冗长的文件中快速找出关键信息，并且也很难确定这些信息是否正确。

自动摘要生成对解决这些问题能够提供很大帮助，但却是自然语言处理领域最难解决的任务之一。所以 2020 年，自动摘要生成将迎来重要的进展，进而改变人们消费信息的方式。

我们正在努力解决这些问题。举例而言，研究者利用 ROUGE 分数来评估自动摘要生成的效果，并发现基于神经网络的摘要生成器虽然出现错误，但 ROUGE 分数依然很高。此外，我们推出了一个模型，它可以容易地检查源文件和摘要之间的事实一致性。我们还提出了一个指标用以评估摘要生成器生成的摘要是否具有事实一致性。

所以这些研究令我坚信在 2020 年，自动摘要生成以及其他自然语言处理领域会迎来巨大的发展机遇。此外，这些期望发生的进展不仅可以帮助人们应对泛滥的新信息，而且可以促使 AI 创造一个更美好的世界。

宋晓东（Dawn Song）：建立可靠的数据经济

2019 ACM Fellow、UC 伯克利计算机系教授宋晓东（Dawn Song）。

众所周知，数据集对 AI 和机器学习而言至关重要，它们也成为了经济发展的主要驱动力。敏感数据的收集正快速增长，覆盖了人们生活的方方面面。但就目前的数据形式而言，数据收集将个人和企业置于风险之中。因此，我希望 2020 年人们可以构筑起可靠的数据经济的根基。

当今时代，用户几乎不清楚如何使用和控制生成的数据，人们可以分享和贩卖各种各样的数据。这些行为往往侵犯个人隐私，甚至会危及国家安全。随着人们越来越意识到这些问题，他们对自己使用的数据服务渐渐失去信任。与此同时，企业和研究者在利用数据的过程中也面临大量的挑战，如大规模的数据违规使用、各种数据保护和消费者隐私法规的制定和实施以及数据孤岛等。

所以，若想建立可靠的数据经济，则需要开发新技术、新规则和商业模式。所有这些的宗旨是通过安全计算、审核技能和机器学习来为数据拥有者（个人和企业）提供可靠的数据保护和管控。但是，机器学习领域依然面临更大的挑战。所以在 2020 年，我们应该继续深耕隐私数据分析和机器学习技术，构建可扩展的系统，从而利用大型异构数据集进行实际部署。

联邦学习的进一步研究和部署对某些用例而言也非常重要。此外，有限和噪声数据中鲁棒性学习的进展也有助于在不侵犯隐私的前提下实现机器学习用例的长尾效应。最后，我希望技术人员、企业家、监管者和 AI 社区可以同心协力，为构建真正可靠的数据经济做出各自的贡献。

周志华：新方法、明确的指导方针

南京大学计算机科学教授、人工智能学院院长、ACM Fellow 周志华。

对于 2020 年，南京大学计算机科学和 AI 教授周志华寄予以下三个期望：

• 其一，希望可以出现超越深度神经网络的高级机器学习方法。大量研究者、工程师和从业者已经对神经网络进行了长时间的研究和运用，而其他机器学习方法可以提供新的、未探索的技术创新空间；

• 其二，希望 AI 可以落地到更多领域，并对人们的日常生活带来积极的影响；

• 其三，希望可以更多地思考和探讨 AI 研究者、工程师和从业者必须采取哪些措施才能防止 AI 错误的发展或 AI 技术的滥用。