CCAI 演讲回顾｜刘兵：终身学习、连续学习与元学习

中国人工智能大会是我国人工智能领域规格最高、规模最大、影响力最强的专业会议。时隔一年回顾CCAI 2018大会，我们不难印证，演讲者提出的很多设想与展望都正逐渐成为现实，他们的宝贵经验为产、学、研等领域引领了发展方向。

CCAI 2018《终身学习、连续学习与元学习》主题演讲实录摘编

刘兵教授伊利诺伊大学芝加哥分校杰出教授，AAAI/ACM/IEEE Fellow

一、从自动驾驶说开去

我们知道，如果一个人在学开车的时候，教练告诉他关于开车的一些基础知识，并会让他实际操作一下，比如尝试刹车等等。之后，经过一段时间的上路学习，这个人就可以拿到驾照开始开车了。但是让机器去自动驾驶，就真的太难了。Google的自动驾驶车已经开了八百万英里，还是不能达到安全上路的水平。人为什么花不多的时间就可以开得不错呢？因为我们在学习开车之前就知道很多东西，我们可能骑过单车，骑过摩托，并且能意识到交通安全的重要性。

另外，一个人即使拿到了驾照，他自己开车时还是会一直学习，并且开得越来越好。这才是真正的Intelligence。机器学习基本上是一个优化的问题，但是人基本没有优化的能力。比如提供一些数据，没有人能够做出一个模型。当然如果花很多时间，可能会找出点规律。这就是简单的Classification问题，单纯提供数据人很难解决，但是如果再提供一些prior knowledge说不定问题就可能迎刃而解了。虽然人可以从数据学习，但是human learning一直在建自己的知识库。人的学习可能更多是基于知识的学习。我们小时候就做加减法，而不学这些基础直接学习解微分方程是不可能学会的，应该有一个知识积累的过程。AlphaGo能够打败最厉害的人类选手，但是它能够走到会场吗？它能用手下棋吗？它赢了会感到很开心吗？理论上是可以的，但是要几百的工程师一起做，这非常难。

2019年4月

斯坦福大学的研究人员开发出一种控制自动驾驶汽车的新方法，该方法集成了先前的驾驶经验-这一系统将帮助汽车在极端和未知情况下更安全地行驶。他们使用了两款不同车型对赛道上的摩擦极限进行了测试，该系统与经验丰富的赛车驾驶员使用现有的自动控制系统操作一样。

所以当前的机器学习基本上还是single-task learning的模式，提供一些人工标注的数据，用一个机器学习算法建一个model，然后把这个model用在实际应用中。人和上述学习模式有什么不一样呢？现在的算法没有像人一样有知识积累，它需要大量的标注数据，特别是在做实际应用时。想用算法实现一个任务可以，但是想把世界上全部东西都做了，不可能。就算可以都做了，明天还会有新的东西需要考虑。人工标注将永无至尽。

人可以做到越学越宽，越学越广，越学越容易学，但是机器现在做不到这一点，终身机器学习就是想做到这一点。这件事情非常难，但是很有研究的必要性，因为对每个任务进行一次学习太过复杂。我们要像一个小孩子一样学习，这句话非常有哲理，start like a baby。

二、终身学习

终身学习是个非常大的领域，有很多问题有待解决。它也有很多名字，比如说lifelong learning、continual learning，continuous learning, meta-learning，和never-ending learning，他们都在试图解决终身学习不同方面的问题。通俗来讲终身学习就是可以把学到的知识积累下来，再用到将来的学习里去。对于终身学习来说，世界是开放式的。算法需要发现和解决新的问题，而不是只能解决一个给定问题，它学到的知识并不局限于已有的领域，而可以应用到新的领域上去。终身学习，首先要有持续学习的过程；另外知识一直要积累。终身学习还应有应用知识和自适应新场景的能力。它也要在开放在领域学习，它可以把没学过的东西识别出来并学习它，这么积累的知识就可以越来越多。另外还要做到learning on the job，就是在工作以后还要继续学，要learning while working。现在没有算法真正实现终身学习，现在的算法都在尝试完成这个任务的某一部分，还没有人可以做到把所有的功能都放在一个系统里面。

2019年3月

美国防预先研究计划局（DARPA）“终身学习机器”（L2M）项目研究人员在《自然·机器智能》杂志发表了其有关人工智能算法的研究结果，介绍了一种由类似动物肌腱驱动的人工智能控制机器人肢体，意味着该项目取得重大进展。当前的机器学习系统无法不断学习或适应新的情况。系统程序在经过训练后就会固化，因此在系统部署后，无法对新的、不可预见的情况做出响应，而通过增加新信息来修改程序缺陷又会改写现有的训练集。在当前技术条件下，解决这一问题需要使系统脱机，并利用包含新信息的数据集对机器系统进行重新训练。为解决上述挑战，DARPA开展“终身学习机器”项目，旨在开发能够在任务执行过程中不断学习并变得越来越专业的系统，在将以前的技能和知识应用于新情况的同时，不会忘记之前的学习内容。

终身学习领域有很多基本的挑战：比如说，第一，学到的知识无法判断对错，不知对错知识不敢用来持续学习。现在机器学习对这个东西并不看重，其实需要认真对待；第二，过去积累的知识对新的领域是否适用；第三，如何represent积累的知识：第四，如何把机器学习和人工智能其他方面连在一起，做成稍微比较完整的系统。这些问题都需要解决，也是很多人在研究的方向。

这些挑战在很多应用都表现得很清楚，比如说self-driving cars，chatbots，和machine translation。他们都非常难，因为总是会在学习或者在应用过程中遇到过去没有见有过东西。在遇到这种情况时，系统总会有状况和问题发生。虽然现在有些公司吹嘘自己的自动驾驶技术如何成熟，以及自己的machine translation系统已经解决了翻译的问题，事实并非如此。这个世界非常复杂而且一直在变，如果数据永远需要人工标注，永远需要人工翻译，这是不靠谱的，其经济代价也是很大的。总结来说，还是需要机器有自主学习和持续的学习能力，如果不这么做，将来是没有希望的。

2018年12月

Atman公司推出了医学Atman AI翻译解决方案，深度融合 Atman 医学机器翻译和全栈语言智能技术。医学机器翻译模型可以持续升级、终身学习，还能与用户已有的翻译项目管理系统无缝对接。Atman可以在需求方内部进行医学机器翻译私有部署。所有的模型和数据都保存在需求方内部网络中，可以保障数据的安全。那么，需求方就可以用这个系统进行翻译，然后内部再去做译后编辑。

最后，我想提一下continual learning和 meta learning，这几年不少人在做相关研究。持续学习 (continual learning)主要是在学习一系列任务时试图解决神经网络中灾难遗忘的问题。元学习(meta-learning，也叫learning to learn)的要点是用很多tasks做为训练数据来训练一个meta-model，这个meta-model然后可以用于学新的task，这个新任务不需要太多的数据，学的速度上也会更快。

2018年10月

IBM的研究人员发表了论文Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference，提出了一种持续学习建议的方法，该方法允许实现可以构建增量知识的神经网络。IBM创建了一种新的学习框架MER，它结合了元学习和经验回放技术，实现了持续学习的效果。

三、总结

对于终身学习来说，知识越多，学习起来会越简单，而且学习质量也会越好。这一领域还需要进一步的发展，目前的算法还只能解决比较单一的问题。Knowledge correctness、applicability 和知识的融会贯通，等等 都是很大的挑战，现在就看谁聪明，能把这些任务解决掉。那么我们也许就能够实现强人工智能（Artificial General Intelligence）。