自旋电子学神经的形态计算

Y. J. Zhang, Q. Zheng, X. R. Zhu, Z. Yuan, and K. Xia, Spintronic devices for neuromorphic computing, Sci. China-Phys. Mech. Astron. 63, 277531(2020), https://doi.org/10.1007/s11433-019-1499-3

1. 背景

• 目前存在的问题：当前基于神经网络计算的软件实现与当前计算机的von Neumann体系结构之间不匹配

• 解决方案：开发一种神经形态（neurophomic）芯片，它们适合于基于人工神经网络（ANN）执行所需的计算

  • 然而，这种芯片通常需要数千个晶体管来模拟一个尖峰神经元，并采用与神经元分离的突触；
  • 因此，进行了许多尝试来开发具有新材料和新技术的神经形态芯片，例如 电阻忆阻器（resistive meristor），相变材料（phase change material）和铁电材料（ferroelectricity）；

• 自旋电子器件（spintronics）作为存储单元已被广泛研究，本质上具有ANN中基本元素 -- 神经元（neurons）和突触（synapses）所需的动力学特性

• 人工神经元的非线性动力学可以用磁化动力学代替，因为后者由非线性Landau-Lifshitz-Gilbert方程描述

  • 磁存储设备中使用的可调电阻是自然的人工突触，其非易失性进一步降低了功耗；
  • 此外，磁性设备的耐用性极高（> 10¹⁵）特别适用于实现可重新编程的神经网络；
  • 例如，作为一种存储设备，只需要探测磁性开关前后的静态状态，而磁化的动态过程就对神经形态计算和随机性至关重要。

2. 实现方法

• 实现自旋电子神经网络硬件的必要步骤是找到合适的设备来代替AI计算模型中的数学单元
  • 神经元和突触通常由微分方程描述
  • 突触是神经网络中的存储的数值，会在训练过程中更新参数
  • 由于电阻可调，忆阻器广泛用于硬件突触的实现中
  • 可以通过将磁畴壁放在共线磁性层的顶部来设计自旋电子忆阻器
  • 基于MgO的磁隧道结（MTJ）也可以用作忆阻器件，这种器件的电阻变化，是由电压驱动氧原子再MgO中的扩散而实现的
  • 由串联连接的n个MTJ组成的另一种自旋电子突触，可以具有2ⁿ种离散的电阻状态
  • 实验证明了遵循有监督和无监督学习规则的算法来调节自旋电子突触，包括长期增强/抑制和更复杂的与时间相关的尖峰可塑性（STDP）
  • 如图一所示，在神经形态计算中使用了两类神经元：一种通常用于传统的ANN，并且使用非线性激活函数来模拟其动力学，例如ReLU，Sigmoid和Step function；另一种类型是在受生物神经元启发的尖峰神经网络（SNN）中使用的

fig.1（a）具有固定（紫色）磁性层和自由（红色）层的MTJ的示意图。 当两层具有平行（反平行）磁化时，它具有低（高）电阻，如图（b）所示；（c）在超顺磁状态下，自由层通过热波动而切换，并且电阻在两种状态之间表现出随机跳变。（d）磁性忆阻器的示意图：MTJ的自由层由底部的磁畴壁代替，其位置决定了两个磁层之间的总电阻（f）。（e）模拟尖峰神经元的装置。 当畴壁通过电极时发生烧结，导致电阻（g）突然变化

3. 先前的工作

• 许多实验研究试图改善自旋电子神经网络的这些基本单元，但是缺乏神经元和突触的标准，使得通往具有更好功能的硬件的技术路线不清楚
• 即使在计算模型中，非线性激活函数都没有一个明显优于其他非线性激活函数，并且许多ANN在不同的激活函数下均能很好地工作，最终的验证只能是使用这些人工神经元和突触构建的神经网络的性能。
• 目前有很多使用自旋电子设备实现神经网络的尝试：
  • 比如，使用霍尔棒作为突触来构建Hopfield型ANN；
  • 霍尔棒由位于反铁磁PtMn顶部的铁磁Co / Ni多层组成，其中Co / Ni的磁化强度可以通过电流通过所谓的自旋轨道转矩来控制；
  • 在没有外部磁场的情况下，霍尔电阻与写入电流之间具有线性关系，因此在训练过程中很容易调整突触权重；
  • 该Hopfield网络集成在板上，经过测试可存储3×3像素的三个字母“ I”，“ C”和“ T”；
  • 受技术和成本的限制，更多建议仅基于仿真，而器件参数可以通过实验或微磁学获得；
  • 如图2所示，交叉开关矩阵（crossbar）是一种十分方便用作矩阵相乘的器件，其中自旋电子设备（如MTJ）可用于连接所有交叉点，然后利用MTJ的忆阻特性来模拟可调节的突触权重；
  • 进行仿真以验证这种基于crossbar的人工神经网络，该人工神经网络被用于对车牌号码，以及MNIST手写数字进行识别

fig.2,（a）将矩阵乘以向量的设备草图； （b）可以执行乘法的交叉开关，其中连接点处的权重对应于MTJ的电阻。

• 在更复杂的模拟计算中，通过磁突触连接的crossbar来模拟SNN，其中STDP可以用于无监督学习

  • 结合基于CMOS的LIF神经元，可以利用识别MNIST数据集中的手写数字；
  • 然而，这些模拟尚未在实验中进行检验，特别是对于各种训练算法与硬件突触的适用性

• 近年来，一种特殊的神经形态计算吸引了很多注意力，这种形态称为水库计算（reservoir computing），它一般于处理动态的信息；

  • 它通常在递归神经网络（RNN）中执行（如图三所示结构），该神经网络具有稀疏且随机连接的大量人工神经元；
  • 由40个MTJ组成的RNN经过训练可以生成和识别简单的周期性函数，每个神经元都由单个MTJ实现；
  • 一项系统研究表明，RNN对MTJ的相位噪声和不完美的突触具有鲁棒性；
  • 或者，可以使用具有延迟反馈的单个非线性节点来实现RNN，从而显着降低实验中的技术难度；
  • 由于具有非线性动力学和记忆效应，单个MTJ可以显着改善语音识别；
  • 后来，如微磁模拟所示，通过使用单磁Skyrmion的动态运动来实现图像识别；
  • 由于其潜在的功能和技术简单性，使用单个自旋电子设备的神经形态计算的实现很可能很快会应用于实际的认知任务。

fig. 3