2021-01-22：脉冲神经网络学习日志（二)【Brain-Based Devices】

文献：
Brain-Based Devices
BY JASON G. FLEISCHER
AND GERALD M. EDELMAN

1. 当前对大脑各个部分功能的研究有很多，但是对大脑全局系统可以实现的功能（global picture）研究较少，例如学习和记忆功能
2. 一种理论上的方法：synthetic neural modeling.
3. 神经系统并非孤立地起作用。身体暴露在环境中，只有当神经系统与身体交互以及动物有行为动作时，神经系统的特性，机制和功能才会出现。
4. brain-based device：stnthetic neural modeling的具象化。
5. 通常所说，与人工神经网络控制的机器人相比，BBD有更复杂更真实的神经系统。一个BBD的神经网络通常有10⁴-10⁶的模拟神经元，这些神经元有更高的生物合理动态性，用10⁶-10⁹的突触连接起来，这些突出被分布在一个大规模折返结构中，从而模仿了脊椎动物大脑神经区域之间的宏观连通性。 为了产生足够数量的神经回路，从而实现我们在真是神经系统中看到的选择学习，这些大规模是非常有必要的。
6. BBD专门用来测试“脊柱动物神经系统机制如何引起认知和行为”的假说
7. Darwin series:调查神经系统的功能、 Darwin X and Darwin XI 用来测试“特定大脑功能如何促进情节记忆的形成”的假说
8. Segway Soccer BBD (SS-BBD)：神经建模在机器人足球和约束不足的任务中的应用。

Constructing BBDs

将模拟的大脑与详细的神经解剖学和神经动力学结合起来

1. 组成不同大脑区域的神经元元素的动力学

神经系统元素的动态性（例如神经元活动和突触传递）对于大脑的功能是非常重要的

2. 不同大脑区域的结构

在总体解剖学水平上来说，网络结构对功能至关重要。

3. 大脑区域之内或之间的连通性

脑功能不仅仅是不同区域的活动，区域之间的交互也至关重要

在没有先验知识或指导的情况下将环境中的信号分类

对模型和生物体的感知分类使基于经验，但没有先验知识或指令指导的目标分类成为可能。

环境中的主动感知和自主移动

大脑并不是独立工作，他们和生物体的形态和环境紧密相关，必须在实际环境中模拟。原因如下

1. 模拟环境会给模型引入不必要或偶然偏差。
   模拟环境：将电脑生成的目标展现给视觉模型，目标是由建模者直接赋予其形状和大小的
   实际环境：将设备放在真实世界中，目标的大小和形状都需要设备自己去根据环境识别
2. 真实的环境丰富，多模式，多噪音。用真实环境节省算力、也不需要建模者花费时间去模拟环境，只需要集中精力开发可以探索真实世界的设备即可。

从事行为任务（Behavioral Task）

1. 和生物有机体相似，一个智能体或BBD需要最小的先天行为或反射集合来探索并在其环境中生存。 从这个最小的集合中， 智能体选择所需的条件来优化其行为，从而适应其环境。
2. 为研究人员提供了一个标准来给BBD的表现评分。此外，这些任务也应该和现实中的任务相似，以便与现实世界的生物体进行比较。

重要环境事件发生时的适应行为（Adapt Behavior)

生物有机体通过value system来调整他们的行为，value system给大脑其他部分提供调节信号，使突触局部改变的输出结果偏向于满足全局需求。
当环境状况（局部突触的输入）一定时，有正value的行为偏向于改变突触并使其更可能产生相同行为，有负value的行为则相反

和从动物模型得到的实验数据作比较

对比应该在行为层、系统层、和神经元素层。
对比的目的：

1. 首先，BBDs是测试脑功能理论很有利的工具。建立一个完整的行为模型使设计者无法忽略理论和实现上的细节，也可以实现现实生物体中无法完成的：记录所有神经元和突触的活动。
2. 以动物神经系统做标准，使模拟神经系统更接近于真实动物。
   现在已经有越来越多的文献开始研究神经机器人，还有其他和BBD的概念相似的神经模型。这些系统的行为和神经活动已经被与 导航期间的啮齿动物海马体活动、调节期间的神经调节系统活动、行为选择期间的基础神经节活动作比较。
   应用：Darwin X和Darwin XI 。这两个模型通过整合海马体及其周围环境的详细模型来发展时空和情节记忆。他们在传感器输入、所处环境、行为、和他们所匹配的实验数据的特性方面都不同。

空间（spatial）记忆和情节（episodic）记忆的体现模型（enbodied model）

已知事件序列的记忆主要依赖于大脑中的海马体结构 。患有海马双侧病变的患者、莫里斯水迷宫中大鼠的导航实验、啮齿类动物海马中的金字塔形细胞与视觉嗅觉听觉触觉的联系。都可以支持此观点

Darwin X神经模拟的原理图
(a)模拟解剖概况
符号含义：
sensor input：图中绿色部分，有照相机图像、测距数据得出的头部方向、墙壁障碍红外检测器和目标平台红外检测器
V1：第一层视觉皮层
V2/4：第二层视觉皮层
IT：颞下皮质
Pr：顶叶皮质
HD：头部方向反应性细胞
ANT：丘脑前核
MHDG，运动皮层；
BF，基底前脑；
S，价值体系；
R⁺，奖励性刺激； R^-，厌恶性刺激。
（b）:（a）中海马区的细节。
ECin和ECout，内嗅皮层输入和输出层；
DG，齿状回；
CA1和CA3，
海马的子区。在海马中学习发生的突触具有依赖于经验的可塑性（虚线）。海马中的抑制性连接既是反馈（例如DGFB）又是前馈（例如DGFF）。 CA1的值依赖性突触影响行为选择（带黄色标记的虚线）。

Darwin X水迷宫实验的结果证明

1. 在firing海马神经元中编码的空间信息足以解决迷宫问题；
2. 价值依赖性学习规则能够利用firing海马体中的模式来驱动正确的动作选择。
   Darwin XI 与Darwin X相比，在 visual and head direction输入外，又添加了whisker system（能够识别迷宫壁上的不同触觉模式）和a path integration system（(a sense of self-movement)），从而实现海马体记忆的多模态性质（multimodal，即去掉其中一种感官，对整体结果的影响不是非常大）
   
   Darwin XI实验在plus maze中进行，这个迷宫允许从多起点到一个终点，或一个起点到多个终点

The unique features of BBDs allow us to make useful predictions about real nervous systems.
模拟的神经系统是高保真动态神经解剖系统，因此可以预测在BBD中发现的结果也可能适用于动物。我们可以直接观察BBD的整个神经系统，但是无法直接观察动物的，所以可能有很多惊人的发现。例如：通过观察BBD的活动发现海马体中的两个主要途径（三突触环和穿孔路径）都可以独立产生场所活动，因此支持空间导航。，此外还发现，在BBD在迷宫中进行的前几次试验中，三突触环对位置场瞄准有更大的影响。 在后几次的试验中，穿孔路径对位置场瞄准具有更大的影响

Darwin X and Darwin XI were designed to test a hypothesis of how certain brain structures may enable the formation of episodic memories.
达尔文X和达尔文XI旨在测试某些大脑结构可能如何促成情节记忆形成的假设。
通过研究Darwin X and Darwin XI ，得出对于情景记忆形成至关重要的一些特性是：

1. 许多感觉流以大扇入汇聚到海马体上；
2. 海马内的神经活动非常稀疏；
3. 海马在不同的时间尺度上都有嵌套循环。

使用BBD方法构建自主机器人(Autonomous Robots)

足球机器人
目标：
1）可以在杂乱的自然环境中视觉识别物体；
2）可以执行困难的运动技能；
3）具有新颖而有效的动作选择算法；
4）曾在以下方面竞争并取得了胜利： 与另一支机器人足球队进行的一系列比赛。
By mimicking in detail the mechanisms of the mammalian nervous system, we will learn important design principles for adaptive autonomous systems.
通过详细模拟哺乳动物神经系统的机制，我们将学习自适应自主系统的重要设计原理。

SS-BBD的控制体系结构。
绿色：传感器； 青色：通过神经元模拟实现的控制组件； 灰色：非神经元控制器组件； 红色：执行器（“踢球者”是踢球者；“捕获”将球靠在踢球者身上；“ PTU”是指示摄像机的云台装置； RMP电机控制机器人的运动）。 该模拟具有60,000个平均触发率神经元单位和160万个突触。

Large-scale neural simulations of vertebrate neuroanatomy and neurophysiology are used to test the hypotheses of how real nervous systems function.
脊椎动物神经解剖学和神经生理学的大规模神经模拟用于检验真实神经系统如何运作的假设。

SS-BBD在神经控制的足球机器人中，在其设计的生物学细节和神经模拟的复杂性方面都是独一无二的。 在BBD中，它的独特之处在于其行为表述的复杂性和动作速度。

Conclusions

鉴于神经系统的结构与其功能密切相关，现实的大规模神经解剖学对于在正常和病变条件下再现记录的神经活动和观察到的行为至关重要。
较高级的大脑功能依赖于整个神经系统的协作活动，反映出其形态，动力学以及与表型和环境的相互作用。 BBD被设计来包含这些属性，以便它们可以测试脑功能理论。 就像大脑一样，BBD遵循选择原则运作，通过它们形成分类记忆，将类别与固有价值相关联，并使它们的行为适应环境。 我们还表明，BBD原则为高级自主机器人的开发奠定了基础。