AI and Neuroscience: A virtuous circle

转载：https://deepmind.com/blog/article/ai-and-neuroscience-virtuous-circle

　　AI领域最近取得了显著进展。人工系统现在优于人类专家Atari video games（Atari视频游戏），ancient board game Go（古老棋盘游戏围棋）和 high-stakes matches of heads-up poker（单挑扑克高筹码比赛）。它们还可以生成与人类无法区分的笔迹和演讲， 在多种语言之间进行翻译， 甚至将您的假期快照重组成梵高风格的杰作。

　　这些进展归因于若干因素，包括应用新的统计方法和计算机处理能力的增加。但在《Neuron》杂志上的最新观点，我们认为，一个经常被忽视的贡献是使用从实验和理论神经科学得到的想法。

　　心理学和神经科学在AI史上扮演了重要角色。创始人物，如Donald Hebb, Warren McCulloch, Marvin Minsky和Geoff Hinton最初的动机都是渴望了解大脑是如何工作的。事实上，在整个20世纪后期，发展神经网络的很多关键工作不是发生在数学或物理实验室，而是发生在心理学和神经生理学系。

在如此重大的利害攸关下，神经科学和AI领域走到一起这一点比以往任何时候都更加迫切。

　　在DeepMind，我们认为，尽管在这两个领域都取得了长足的进步，但研究人员不应忽视这一愿景。我们敦促神经科学和AI的研究人员找到一种共同的语言，允许知识的自由流动，使两个方面继续取得进展。

　　我们认为，在AI研究上，从神经科学中汲取灵感非常重要，原因有二。首先，神经科学可以帮助验证已经存在的AI技术。简单地说，如果我们发现我们的人工算法之一模仿了大脑内的一个功能，这表明我们的方法可能处于正确的轨道。其次，神经科学可以为构建人工大脑时采用的新算法和架构提供丰富的灵感来源。传统的AI方法历来以基于逻辑的方法和理论数学模型为主。我们认为，神经科学可以通过识别对认知功能至关重要的生物计算类别来补充这些。

　　以神经科学的开创性发现为例：离线经验"回放"的发现。在睡眠或安静休息期间，生物大脑"回放"早期活动期间产生的神经元活动的时间模式。例如，当老鼠穿过迷宫时，"位置"细胞会随着动物的移动而激活。在休息期间，观察到相同的神经元活动序列，就像大鼠在精神上重新想象他们过去的动作，并使用它们来优化未来的行为。事实上，已经证明干扰回放会降低以后执行相同任务时的性能。

 

"回放"是DQN的一个关键元素，DQN是一种通用智能体，能够不断调整其行为以适应新环境

　　乍一看，构建一个需要"睡眠"的人工智能体似乎有悖常理——毕竟，在程序员睡觉很久之后，它们就应该解决计算问题。但这一原则是我们深度Q网络(DQN)的关键部分，DQN是一种学会掌握各种Atari 2600游戏到超出人类水平的算法，其中只有原始像素和分数作为输入。DQN模仿"经验回放"，存储其"离线"审查的训练数据子集，使其能够从过去发生的成功或失败中重新学习。

　　这样的成功让我们相信神经科学已经是AI思想的重要来源。但是，展望未来，我们相信，在帮助我们解决未解决的问题，例如有关有效学习、了解物质世界和想象力的问题方面，它将变得不可或缺。

　　想象对人类和动物来说，是一个非常重要的功能，使我们能够在不采取动作的情况下规划未来的情景；可能会付出代价的东西。考虑一个简单的示例，例如计划假日。为了做到这一点，我们利用关于世界的知识（或"模型"），并用它来及时向前投射，评估未来的状态，并允许我们计算我们需要采取的路线或在阳光明媚的天气穿什么衣服。人类神经科学的尖端研究正开始揭示支撑这种思维的计算和系统机制，但这种新认识中很多尚未纳入人工模型。

 

神经科学和AI领域有着悠久而交织的历史

　　当代AI研究的另一个关键挑战是迁移学习。为了能够有效地处理新情况，人工智能体需要能够在现有知识上积累能力，做出明智的决定。人类已经擅长于此——一个能开车、使用笔记本电脑或主持会议的人，即使遇到不熟悉的车辆、操作系统或社会情况，通常也能够应付。

　　研究人员现在开始迈出第一步，了解在人工系统中如何可能实现这一点。例如，称为""渐进式网络"可以使用在一个视频游戏中学到的知识来学习另一个。同样的架构也被证明能够将知识从模拟机械臂迁移到现实世界的臂，从而大大减少了训练时间。有趣的是，这些网络与人类顺序任务学习模型。这些诱人的联系表明，未来的AI研究有很大的机会从神经科学的工作中学习。

　　但这种知识交流不能是一条单一的路。神经科学也可以从AI研究中受益。以强化学习为理念，这是当代AI研究的核心方法之一。虽然最初的想法来自心理学中动物学习的理论，但是由机器学习研究者开发和阐述的。这些后来的想法反馈到神经科学，以帮助我们了解神经生理现象，如哺乳动物基底神经节中多巴胺神经元的发放特性。

　　如果这两个领域要继续在彼此的见解基础上建立一个良性循环，那么AI研究人员将利用神经科学的思想来构建新技术，而神经科学家则从人工智能体的行为中学习以更好地解释生物大脑，这是至关重要的。确实，由于光遗传学等最新技术的发展，该循环可能会加速，这使我们能够精确地测量和操纵大脑活动，从而产生大量数据（这些数据可以用机器学习的工具进行分析）。

　　因此，我们认为将智能提炼成算法并将其与人脑进行比较在现在至关重要。它不仅可以支持我们开发AI的追求，我们希望创造新知识，推进科学发现，但也可能让我们更好地了解自己头脑中发生了什么。这可以揭示神经科学中一些最持久的奥秘，比如创造力与梦想，甚至意识的本质。在如此重大的利害攸关下，神经科学和AI领域交叉这一点比以往任何时候都更加迫切。