CCAI2018演讲实录 | 蒲慕明：脑科学与类脑机器学习

来源：人工智能前沿讲习班

摘要：7月28-29日，由中国人工智能学会和深圳市罗湖区人民政府共同主办，马上科普承办的“2018 中国人工智能大会（CCAI 2018）”完美收官。

大会第二天下午，中科院神经科学所所长，中国科学院院士，美国国家科学院院士蒲慕明作题为《脑科学与类脑机器学习》的主题演讲。

以下是根据速记整理的大会讲座实录。

蒲慕明 中科院神经科学所所长，中国科学院院士，美国国家科学院院士

皮层的作用

---

在近代神经生物学上和脑科学上，最大的进展就是：在19世纪中后期，法国医生和科学家波卡（Broca）通过解剖失语症病人，发现了Broca区。他是第一个给大脑功能定位的科学家。从他开始，脑科学家们逐渐认识到不同脑区主管不同的功能。同时，各个脑区之间有高度的联接，特别是侧向联接。高度的横向连接在处理多感觉信息整合时具有优势。这也正是人工智能做多模态整合时需要解决的问题。

20世纪的脑科学到底有什么进展？

---

20世纪脑科学进展主要是对于神经元如何编码、储存和提取神经信息的理解比较清楚。从20世纪初期到21世纪初，与神经科学相关的诺贝尔奖得主都是在解决神经元如何编码、存储和提取信息的，都是在细胞水平而不是网络水平进行研究。

神经细胞都有局部环路和长程环路。一个功能的出现，必须要求神经元环路中神经元在适当的时候放电。脑网络如何产生诸如知觉、情绪、思维、抉择、语言等高等脑认知功能？我们对此理解极为粗浅。

现在说起来脑科学的进展，打一个比喻，相当于物理学、化学在19世纪末和20世纪初的状态，新的理论和关键技术还没有出现的时候，这是脑科学现在的状态。我们不要对脑科学有过度乐观的期待。

脑科学与类脑智能研究的关系

---

历史上人工智能出现了三次浪潮，每次往上的推动都是从神经科学里得到的启发。例如，McCulloch和Pitts在1943年提出MP神经元模型，以及80年代Hopfield算法、BP算法。最近的深度网络学习，它包括多个层次，每个层次具有不同的功能，这也是从视觉系统得到的启发。

要理解大脑需从三个层次上分析

---

第一个是宏观层次。通过核磁成像的技术可以得到粗略的神经束的走向，但单单只了解神经束的走向对于理解脑功能并没有太大贡献。我们要进一步了解大脑必须要达到神经元水平。第二个就是介观层面，空间分辨率要达到微米。用特殊方法来标记不同的神经元种类，了解不同神经元的功能。介观神经连接图谱是目前神经科学的主要方向。第三个是微观层面，微米到纳米尺度。在微观层面对神经元轴突和树突的分布以及突触产生规律的研究可以得到很多有用信息的。

突触传递过程非常复杂

---

所有神经元是通过电信号来传递信息，但是电波不能直接传到下一个细胞。突触前的信号造成化学物质的释放，会由于释放的化学物质不同可以造成突触后细胞的激活性或抑制性电信号反应。这样就大大增加了神经网络处理信息的能力。

解读整个神经网络的难点

---

第一个难点就是每一种脑功能都有大量神经元集群参与，简单的视觉输入就有百万千万的神经元被激活。我们非常缺乏非干扰性大量观测神经元集群活动的技术。美国脑计划主要就是在开发脑研究新技术，新技术主要是观测技术，还有能够分析大量神经元动态信息的大数据分析方法。大数据分析不是盲目分析，我们需要有理论指导，用数据去检测这个理论的准确性。

突触可塑性与Hebb假说

---

可塑性是大脑认知功能的基础，可塑性使得大脑网络形成新的状态，就会产生新的行为。大脑是不断在变的，每一个活动都引起功能和结构的变化。Hebb（DonaldHebb是加拿大的心理学家）认为：同步的电活动可造成突触加强或稳固。如果两个神经元同时发放，他们之间的突触联接就会加强；如果不同步，那么突触前后的连接就会削弱。

可塑性的现象最早是由中国科学家冯德培发现。冯德培在英国拿到博士学位回国之后，在协和的生理系建立了实验室，专门研究神经肌肉接头的功能。1946年，在他的系列论文的26篇中报告了一个现象：在神经肌肉接头的突触，通过高频的刺激，可以引起突触后肌肉电活动的加强，这个加强长达十分钟之久。

突触的效率因为电活动而改变，很快的几秒钟高频刺激，产生的后果是十几分钟的突触增强，这就是可塑性。冯德培1941年发现的现象，是可以拿诺贝尔奖的，但是冯德培先生90年代过世了。到20世纪70年代，人们才在中枢神经系统中发现了类似的现象，被称为长时程增强（LTP）和长时程减弱（LTD）。电活动过后，在脑网络里留下了长期的痕迹，就是记忆，记忆就是储存在神经传递的效率变化之上。

突触可塑性除了突触效率的改变，还有突触结构的变化。为什么轴突不直接把信息送到树突上而是传递到树突棘上呢？其中原因一直没有人知道。在耶鲁大学做教授的时候，张香桐提出了一个假说：树突棘（微小的突起）可以作为调节突触传递效率的结构。现在，学界公认树突棘可以作为调节突触权重的结构。

赫伯（Hebb）细胞群假说

---

赫伯认为改变连接强度就是储存记忆——记忆储存在网络中，并不由单独的位置储存；把已经储存记忆的细胞群再激活，电活动再出现，记忆就会被提取。比如说我们从小时候开始，祖母面孔就不断的激活我们的细胞，眼睛、嘴巴、鼻子等都会特定激活一群细胞，整个大细胞集群在祖母面孔出现时候集体放电。通过这个超级赫伯细胞群，我们长大了以后，只要看到祖母的眼睛，部分的细胞群激活了，就可以唤起祖母面孔的记忆。

赫伯细胞集群假说可以做进一步补充。祖母是一个概念，这个概念包含了她的面孔，还包含了声音、唱的歌、名字，我看到这些所有的特征，任何其中一个特征，都可以换起对整个祖母全部特征的反映。这个概念是一个超级超级细胞群，她唱的歌也许储存在听觉区，她的面孔在视觉区，味道在嗅觉区，这些信息在跟祖母相关的事情出现的时候，都会同步被激活。这是一种多脑区同步放电活动，是一种超级超级赫伯细胞群的放电。

大脑认知的关键就是信息捆绑的问题。

---

各种信息如何整合产生一个整体？多年来流行的假说就是聚合型假说：各个组成的成分都在放电，它们都通过轴突输入到另一个神经元，该神经元同时收到各个组合成分的神经元信号，同时整合了这个信息。

人们最早是在视皮层发现证据（这是Hubel和Wiesel得诺贝尔奖的工作）。在视皮层或者视网膜上能够引起神经元活动的区域我们称为视觉感受野。从丘脑里面细胞的点状感受野到视皮层整合成线状。由点到线的整合就是一种信息捆绑。然而，还有其他的可能性，例如同步放电模型：各种组合成分的神经元在某一信息出现后就一起放电，同步电活动本身活动就代表了整合信息。

大脑网络形成的过程

---

在发育过程中，一个月的婴儿并没有什么网络，在两岁、三岁之间会生成很多的树突和轴突，从而形成非常复杂的网络。这是非常令人吃惊的现象，这就说明神经元的基本结构是基因决定的，但是网络是在出生以后才建立的，出生以后是各种各样的学习、经验在起作用。早期的修剪过程是非常重要的，早期修剪的太少可能是自闭症，过多可能是精神分裂症，所以网络的修剪是正常网络形成必要的一环，修剪不好就造成疾病。

突触是记忆的储存位点

---

突触储存记忆有两种储存方式：一种是改变突触权重；另一种是突触连接结构的修饰——新的连接形成，原有连接的改变。大脑在发育期与成年期有不同的可塑性，大脑发育期有大幅度的神经结构修剪，使得新的突触产生，经验是主导网络修剪的主要因素；成熟大脑神经网络只有有限的可塑性，是在原有的突触上增加一点效率，这是经验和记忆所必需的。每个人的网络都不一样，每个人的性格都不一样，这是因为我们每个人的经验都不一样，所以我们处理信息的方式都不一样，这就是成熟网络的表现。

赫伯学习法则的新转折

---

赫伯认为同时放电的神经元连在一起，不同步放电就网络连接，但是20年前出现了新的转折——强化或者弱化不只是同步，而且有时序性。突触前放电先于突触后放电，突触强化，反过来就弱化，这种有时序信息的现象我们称为时序信息依赖的可塑性（STDP）。现在已经有人在人工网络上运用STDP。

我们可以做一个简单的游戏，把贝多芬的《致爱丽斯》正序弹奏每个人都会听出来，反过来弹却没人会听出来是什么曲子，这是因为记忆是有时序性的。

可塑性对人工智能发展曾有过关键性贡献

---

Hopfield人工神经网络，每一个突触点赋予某一权重，单元将所有输入加合，各突触的权重可以用赫伯学习法则调节。BP（反向传播）算法可以用来学习说话，FrancisCrick对此作出了高度评价，在“The  recent  excitement about  neural networks”文章中认为BP算法非常惊人，但是也提出大脑中似乎没有这种机制，大脑的是轴突的信息送到树突的单向过程，而没有反馈信息。几年以后，我们通过记录多个神经元来验证这种说法是否真实。

我们发现突触前神经元内存在逆向传播和侧向传播，突触后只有侧向传播，没有前向传播。轴突终端产生的LTP可以在突触前神经元往回传，但不能往在突触后往前传，我们称这种现象叫做naturalBP。现在在自动化所，我们将natural  BP应用到人工神经网络上面，希望对非监督或者半监督学习有点帮助。

最后做一些总结

---

1.可借鉴的自然神经网络特性

(1)神经元的种类

兴奋性和抑制性神经元活动的平衡是正常网络功能所必要的。

①突触延迟（synaptic delay）在神经环路中起关键作用。

②抑制性中间神经元通常出现在兴奋性输入之后，可防止神经元过度兴奋，可消除脉冲序列（spiketrain）的尾巴以提高信息的时间精确度（temporal precision），可通过抑制旁侧的神经元的兴奋性以增加对比信息的空间精确度（spatialprecision）。

(2). 多方向（顺向、逆向、侧向）的神经连接

连接不只有一个方向，大多数的连接是正向的，也有逆向的，也有侧向的，而且兴奋性和抑制性神经元都有多方向的联接，而且是有空间和神经元种类特异性的联接。

(3).神经突触的可塑性

①突触的功能有可塑性：传递效率的增强与消弱(LTP/LTD)； 可依赖于突触前后神经元同步电活动的频率，也可依赖于突触前后神经元电活动时序(STDP)。

②突触结构可塑性：包括树突棘的形态变化，和突触的新生(formation)与修剪 (pruning）。

③突触可塑性的传播; LTP和LTD的有序传播：包括逆向转播（Back-Propagation），突触效率可减弱也可增强，和侧向传播（LateralPropagation）有选择性地在突触前和突触后传播。

(4).记忆的储存、提取与消退

理解记忆不应只关注储存问题，还有记忆消退问题， 消退的意义可能比储存还要更重要。

①记忆的储存：网络中特定突触群的效率与结构修饰。

②记忆的遗忘：突触功能与结构修饰会随时间消退。

③短期记忆转化为长期记忆：有规则重复的重要性。

④记忆提取：电活动的再现于储存记忆的突触群。

⑤强化学习：依据输出的结果对学习相关突触群的修饰, 调质神经元在修饰中的作用。

(5).赫伯神经元集群概念的应用

①使用嵌套式集群来组成多成分、多模态的信息。

②不同模态的信息在网络的不同区域处理时，可通过侧向连接进行交互影响。

③可使用同步或有相差的电活动来捆绑不同区的神经集群。

④输入信息的拓扑结构在传输过程中的不同层面有所保存。

 2.对人工神经网络/机器学习的建议

一是“摆脱”深度学习网络的诱惑。

二是建立全新的人工网络架构和算法，目标是高效、节能、无监督或者半监督学习。

三是以脉冲神经网络为基础，加入传递延迟。每一个突触传递都有一个时间延迟，这是很多网络处理信息的关键。

四是从简单网络为基础，每次加入一个自然神经网络的特性，检测其效能，然后逐步完善。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”