「弹性权重巩固(EWC/Elastic Weight Consolidation)」。

研究领域是记忆(memory),

特别是如何将神经网络的决策智能和有关复杂结构化数据的存储、推理能力结合起来的难题。」

神经网络的连续学习(Continual Learning),让计算机程序可以不忘记之前学习过的内容并渐进式地学习新内容。

结合了生物学、突触弹性理论,并讨论了突触不仅存储权重还存储这一权重不确定性的理论。

可能将为能被更轻松地应用于多种任务的人工智能系统开启新的道路,

它也应该可以提升人工智能系统在任务之间迁移知识的能力和

掌握一系列互相链接的步骤的能力。

随着一个网络在一项特定任务上的训练的进行,其参数也将逐渐适应此任务的解决。而当引入一个新任务的时候,新的适应过程会改写该网络之前已经获得的知识。这种现象在认知科学领域被称为「灾难性遗忘(catastrophic forgetting)」,这也被认为是神经网络的基本限制之一。

神经科学家已经识别出了

大脑之中的两种巩固(consolidation)方式:

系统巩固(systems consolidation)和

突触巩固(synaptic consolidation)。

系统巩固是指这样一个过程:将我们大脑中的快速学习部分已经获得的记忆印刻到慢速学习的部分。

这种印刻过程被认为是通过有意识或无意识的回忆实现的

而对于第二种机制——突触巩固,

是指如果一些突触连接在之前所学到的任务中是很重要的,那么它们被改写的可能性就更小

在学会一个任务之后,我们计算每个连接对于该任务的重要程度。当我们学习一个新任务时,我们按照连接对旧任务的重要程度,按比例地对连接进行修改保护。

我们可以将我们为每个连接所施加的保护看作是通过一个弹簧链接到之前的保护值,其刚度(stiffness)正比于其连接的重要程度。为此,我们将我们的算法称为「弹性权重巩固(EWC/Elastic Weight Consolidation)」。

你可能感兴趣的:(人工智能,机器学习,深度学习)