深度人工神经网络模拟单个皮层神经元2

重点

1.皮层神经元很好地近似于一个深度神经元具有 5-8 层的网络 (DNN)

2.DNN 的深度来自于 NMDA 之间的交互受体和树突形态

3.树突分支可以概念化为一组时空模式检测器

4.提供了一种统一的方法来评估计算任何神经元类型的复杂性

简要总结

利用机器学习的最新进展，我们引入了一种系统方法来表征神经元的输入/输出 (I/O) 映射复杂性。训练深度神经网络 (DNN) 以在毫秒（尖峰）分辨率下忠实地复制皮层神经元的各种生物物理模型的 I/O 功能。需要一个具有五到八层的时间卷积 DNN 来捕获第 5 层皮质锥体细胞 (L5PC) 的真实模型的 I/O 映射。当在训练分布范围之外广泛呈现输入时，该 DNN 可以很好地泛化。当 NMDA 受体被移除时，一个更简单的网络（具有一个隐藏层的完全连接的神经网络）足以拟合模型。对 DNN 的权重矩阵的分析表明，树突分支中的突触整合可以概念化为来自一组时空模板的模式匹配。这项研究提供了单个神经元计算复杂性的统一表征，并表明皮层网络因此具有独特的架构，可能支持其计算能力。

第二节 用于集成和激发 (I&F) 神经元的类似 DNN 模型：方法概述和过滤器解释

我们的目标是通过类似的 DNN 拟合详细的生物物理神经元模型的 I/O 关系。该 DNN 接收生物物理模型的相同突触输入和相应的轴突输出作为训练集。通过使用反向传播学习算法改变 DNN 的连接强度，DNN 应该复制详细模型的 I/O 转换。为了适应神经元的时间方面，我们在整个研究中使用了时间卷积网络 (TCN)。图 1 说明了这种范式作为第一个示范步骤的可行性和有用性，从一个众所周知的神经元模型的 I/O 转换开始：I&F 神经元 (Burkitt, 2006; Lapicque, 1907)。该神经元接收一系列随机突触输入并产生亚阈值电压响应以及尖峰输出（参见 STAR 方法）。虽然这种 I/O 转换看起来很简单，但尚不清楚它是否可以通过人工神经网络使用具有紧凑架构的毫秒时间分辨率的反向传播算法从数据中学习（这在以前确实没有被证明过）。如果通过 I&F 模型的简单 DNN 成功地实现了高精度，它将证明我们的方法，包括我们表示神经元 I/O 数据的特定方式以及随后在这些数据上拟合 DNN，能够来紧凑地表示 I&F 神经元模型的功能关系。忠实地捕捉这个最基本的单神经元模型的 I/O 属性的最简单的 DNN 是什么？

为了回答这个问题，我们构建了一个由一个隐藏层和一个隐藏单元组成的最小“DNN”（图 1A），并验证它确实捕捉到了这个简单神经元模型的复杂性（图 1F）。时间轴被划分为 1 ms 的区间，其中 I&F 神经元模型中只能出现单个尖峰。该网络的目标是根据直到 t0 的先前输入尖峰序列（时间窗口历史）预测 I&F 模型在时间 t0 的二进制尖峰输出。此输入使用大小为 Nsyn3T 的二进制矩阵表示，其中 Nsyn 是输入突触的数量，T 是所考虑的先前时间箱的数量（图 1B）。我们使用 Nsyn = 100，并在 7,200 秒的模拟数据上训练了一个具有单个隐藏单元的 DNN。当使用 T = 80 ms 时，我们实现了非常好的拟合，即具有单个隐藏单元的简单 DNN，可以以毫秒精度准确预测亚阈值电压动态以及相应 I&F 神经元模型的尖峰输出（图 1C ）。

 图 1D 将各个 DNN 的单个隐藏单元的权重（“过滤器”）描述为热图。 它表明学习过程自动产生了两类权重（过滤器），一类是正面的，一类是负面的，对应于冲击 I&F 模型的兴奋性和抑制性输入。 与我们对 I&F 模型的理解一致，兴奋性输入对输出峰值预测有积极贡献（红色），而抑制性输入对输出峰值预测有负面影响（蓝色）。 早期的输入，无论是抑制性的还是兴奋性的，对这一预测的贡献较小（蓝绿色）。 图 1E 描绘了这些过滤器的时间横截面，并揭示了一个指数分布，该分布反映了 I&F 模型中突触后电位的时间衰减（在反向时间方向上）。

从这些过滤器中，可以恢复 I&F 模型的精确膜时间常数。这两个时间过滤器（兴奋性和抑制性）很容易解释，因为它们与我们之前对突触输入的时间行为的理解一致，这会导致 I&F 模型中的输出尖峰。图 1F 使用接收器操作特征 (ROC) 曲线（图 1F，左；参见 STAR 方法）及其下方的面积（曲线下方的面积 [AUC]）量化了峰值预测方面的模型性能。 I&F 案例的 AUC 为 0.9973，表明非常适合。图 1F（右）显示了使用 DNN 预测的尖峰时间精度的额外量化，通过绘制预测尖峰序列和目标 I&F 模拟尖峰序列（“地面实况”）之间的互相关。互相关在 0 ms 处显示一个尖峰，并具有一个短 (10 ms) 的半宽度，表明 DNN 的时间精度很高。我们还使用标准回归指标量化了 DNN 在预测亚阈值膜电位方面的性能，并且在图 1G 中，描绘了预测电压与真实模拟输出电压的散点图。均方根误差 (RMSE) 为 1.73 mV（解释了 79.8% 的方差），表明 I&F 与相应的 DNN 之间的拟合良好。

请注意，二进制尖峰预测和连续体细胞电压的高精度是一种双重预测尝试，仅使用一个执行严格瓶颈的隐藏单元即可实现。 这仅是由于 I&F 模型案例中输出尖峰和体电压之间的强关系才可能实现的。 总之，作为概念证明，我们已经证明了一个非常简单的 DNN 可以以高度的时间精度学习 I&F 模型的 I/O 转换。 重要的是，通过学习过程获得的权重矩阵（滤波器）是可解释的，因为它代表了 I&F 模型的已知特征，包括存在两类输入（兴奋性和抑制性），突触输入与 代表被动膜特性（电阻、电容）的指数衰减，以及从阈下膜电位到尖峰输出的转换。