注意力机制与外部记忆

神经网络的能力 通用近似原理{前馈神经网络 $\to$ 循环神经网络：有界区间连续函数 $\to$ 非线性动力系统}， 然而 优化算法和计算力限制 实践中很难达到通用近似的能力 （泛化）

减少计算复杂度：局部连接、权重共享、汇聚操作 {卷积神经网络开始引入}来简化神经网络结构

依然希望在不“过度”增加模型复杂度（主要是模型参数）的情况下来提高模型的表达能力

引言

以有限的算力来应对相对复杂的模型的解决方案

就视觉来说，眼睛每秒钟都会发送千万比特的信息给视觉神经系统．人脑在有限的资源下，并不能同时处理这些过载的输入信息．大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制．

我们可以借鉴人脑解决信息过载的机制，从两方面来提高神经网络处理信息的能力．

• 一方面是注意力，通过 自上而下的信息选择机制 来过滤掉大量的无关信息；
• 另一方面是引入额外的外部记忆， 优化神经网络的记忆结构来提高神经网络存储信息的容量．

注意力

人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息．这种能力就叫作注意力（Attention）

注意力一般分为两种：

1. 自上而下的有意识的注意力，称为聚焦式注意力（Focus Attention）． 聚焦式注意力也常称为选择性注意力（Selective Attention）． 聚焦式注意力是指有预定目的、依赖任务的，主动有意识地聚焦于某一对象的注意力．
2. 自下而上的无意识的注意力，称为 基于显著性 的注意（Saliency Based Attention）．基于显著性的注意力是 由外界刺激驱动的注意 ，不需要主动干预，也和任务无关

鸡尾酒会效应:
当一个人在吵闹的鸡尾酒会上和朋友聊天时，尽管周围噪音干扰很多，他还是可以听到朋友的谈话内容，而忽略其他人的声音（聚焦式注意力）．同时，如果背景声中有重要的词（比如他的名字），他会马上注意到（显著性注意力）．

聚焦式注意力一般会随着环境、情景或任务的不同而选择不同的信息．

比如当要从人群中寻找某个人时，我们会专注于每个人的脸部；而当要统计人群的人数时，我们只需要专注于每个人的轮廓．

基于显著性的注意力：最大汇聚、门控机制

$以下主要考虑自上而下的有意识的注意力，称为聚焦式注意力$

注意力机制

在计算能力有限的情况下，注意力机制（Attention Mechanism）作为一种
资源分配方案， 将有限的计算资源用来处理更重要的信息，是解决信息超载问题的主要手段．

Query-Key-Value

用 $X=[x_1,...,x_N]\in R^{D\times N}$ 表示 $N$ 组输入信息，其中 $D$ 维向量 $x_n\in R^D,n\in [1,N]$ 表示一组输入信息．
为了节省计算资源，不需要将所有信息都输入神经网络，只需要从 $X$ 中选择一些和任务相关的信息 $选出!!!$．

注意力机制的计算可以分为两步：

1. 在所有输入信息上计算注意力分布， okay
2. 根据注意力分布来计算输入信息的加权平均．

注意力分布 为了从 $N$ 个输入向量 $[x_1,...,x_N]$ 中选择出和某个特定任务相关的信息，我们需要引入一个和任务相关的表示，称为查询向量（Query Vector），并通过一个打分函数来计算每个输入向量和查询向量之间的相关性．

注意力分布–概率计算：给定一个和任务相关的查询向量 $q$,我们用注意力变量 $z\in [1,N]$ 来表示被选择信息的索引位置．
为了方便计算，我们采用一种“软性”的信息选择机制．首先计算在给定 $q$ 和 $X$ 下，选择第 i 个输入向量的概率 ${\alpha }_n$，

$$\begin{array}{rl}{\alpha }_n& =p(z=n|X,q)\\ & =softmax(s(x_n,q))\\ & =\frac{exp(s(x_n,q))}{{\sum }_{j=1}^{N}exp(s(x_j,q))}\end{array}$$

$\mathbf{s}(\mathbf{x},\mathbf{q})$ 为注意力打分函数

注意力打分函数

Model	Info	comprehension
加性模型	$\mathbf{s}(\mathbf{x},\mathbf{q})=v^T\tanh (Wx+Uq)$	加性模型和点积模型的复杂度差不多
点积模型	$\mathbf{s}(\mathbf{x},\mathbf{q})=x^{T}q$	更好地利用矩阵乘积，从而计算效率更高．
缩放点积模型	$\mathbf{s}(\mathbf{x},\mathbf{q})=\frac{x^{T}q}{\sqrt{D}}$	当输入向量的维度 $D$ 比较高时， 点积模型的值通常有比较大的方差，从而导致Softmax函数的梯度会比较小．因此，缩放点积模型可以较好地解决这个问题．
双线性模型	$\mathbf{s}(\mathbf{x},\mathbf{q})=x^{T}Wq$	双线性模型是一种 泛化的点积模型 ． $W=U^{T}V$ ，双线性模型可以写为 $\mathbf{s}(\mathbf{x},\mathbf{q})=x^T{U}^{T}Vq={(Ux)}^T(Vq)$，即分别对 $x$ 和 $q$ 进行线性变换后计算点积．相比点积模型，双线性模型在计算相似度时 引入了非对称性．

其中 $W,U,v$ 为可学习的参数 $训练调参、优化$，$D$ 为输入向量的维度

加权平均 注意力分布 ${\alpha }_n$ 可以解释为在给定任务相关的查询 时，第 个输入向量受关注的程度．我们采用一种“软性”的信息选择机制对输入信息进行汇总，
$$\begin{array}{rl}att(X,q)& =\sum _{n=1}^N{\alpha }_n{x}_n\\ & ={\mathbb{E}}_{z\sim p(z|X,q)}[x_z]\end{array}$$
称为软性注意力机制（Soft Attention Mechanism）.

注意力机制的变体

硬性注意力

软性注意力选择的信息是 所有输入向量在注意力分布下的期望．

只关注某一个输入向量，叫作硬性注意力（Hard Attention）．

硬性注意力有两种实现方式：

1. 选取最高概率的一个输入向量(最大汇聚)

$$\begin{array}{rl}att(X,q)& =x_{\hat{n}}\\ & =x_{\arg {\max }_{n=1}^N{\alpha }_n}\end{array}$$

其中 $\hat{n}$ 为概率最大的输入向量的下标

2. 通过在注意力分布式上随机采样的方式实现

硬性注意力的一个缺点是基于最大采样或随机采样的方式来选择信息，使得 最终的损失函数与注意力分布之间的函数关系不可导 ，无法使用反向传播算法进行训练．
因此，硬性注意力通常需要使用强化学习来进行训练．
为了使用反向传播算法，一般使用软性注意力来代替硬性注意力．

键值对注意力

用键值对（key-value pair）格式来表示输入信息，其中“键”用来计算注意力分布 ${\alpha }_n$ ，“值”用来计算 聚合信息．

用 $(K,V)=[(k_1,v_1),...,(k_n,v_n)]$ 表示 $N$ 组输入信息，给定任务相关的查询向量 $q$ 时，注意力函数为
$$\begin{array}{rl}att((K,V),q)& =\sum _{n=1}^N{\alpha }_n{v}_n\\ & =\sum _{n=1}^N\frac{exp(s(k_n,q))}{{\sum }_{j=1}^{N}exp(s(k_j,q))}{v}_n\end{array}$$

当 $K=V$ 时，键值对模式就等价于普通的注意力机制． $Comprehension:$

多头注意力

多头注意力（Multi-Head Attention）是利用多个查询 $Q=[q_1,...,q_M]$ ，来并行地从输入信息中选取多组信息．
每个注意力关注输入信息的不同部分．

$$att((K,V),Q)=att((K,V),q_1)\oplus ....\oplus att((K,V),q_n)$$
其中 $\oplus$ 表示向量拼接

小结

在之前介绍中，我们假设所有的输入信息是同等重要的，是一种扁平（Flat）结构，注意力分布实际上是在所有输入信息上的多项分布。

指针网络

指针网络（Pointer Network）是一种序列到序列模型，输入是长度为 $N$ 的向量序列 $X=x_1,...,x_N$ ，输出是长度为 $M$ 的下标序列 $c_{1:M}=c_1,c_2,...,c_M,c_m\in [1,N],\forall m$

和一般的序列到序列任务不同，这里的输出序列是输入序列的下标（索引） – 异步的序列到序列的方式–文本翻译

条件概率 $p(c_{1:M}|x_{1:N})$ 可以写为
$$\begin{array}{rl}p(c_{1:M}|x_{1:N})& =\prod _{m=1}^{M}p(c_m|c_{1:(m-1)},x_{1:N})\\ & \approx \prod _{m=1}^{M}p(c_m|x_{c_1},...,x_{c_{m-1}},x_{1:N})\end{array}$$
其中条件概率 $p(c_m|x_{c_1},...,x_{c_{m-1}},x_{1:N})$ 可以通过注意力分布来计算．

假设用一个循环神经网络对 $x_{c_1},...,x_{c_{m-1}},x_{1:N}$ 进行编码得到向量 $h_m$ ，则
$$p(c_m|c_{1:(m-1)},x_{1:N})=softmax(s_{m,n})$$

其中 $s_{m,n}$ 为在解码过程的第步时，$h_m$ 对 $h_n$ 的未归一化的注意力分布，即

$$s_{m,n}=v^T\tanh (W{x}_n+U{h}_m),\forall n\in [1,N]$$
其中 $v,W,U$ 为可学习的参数．

自注意力模型

当使用神经网络来处理一个变长的向量序列时，我们通常可以使用卷积网络 $分割成定长数据段??$ 或循环网络进行编码来得到一个相同长度的输出向量序列

基于卷积或循环网络的序列编码都是一种局部的编码方式，只建模了输入信息的局部依赖关系. \quad\quad {卷积–窗口之内 循环神经网络 – LTSM 长短期记忆网络（因：梯度消失爆炸）}

如果要建立输入序列之间的长距离依赖关系，可以使用以下两种方法：

1. 增加网络的层数，通过一个深层网络来获取远距离的信息交互
2. 使用全连接网络 {待学习参数多but有限的算力}

全连接网络是一种非常直接的建模远距离依赖的模型，但是无法处理变长的输入序列． \quad {卷积也只能处理定长数据段}

不同的输入长度，其连接权重的大小也是不同的．
这时我们就可以利用注意力机制来“动态”地生成不同连接的权重，这就是自注意力模型（Self-Attention Model）．

假设输入序列为 $X=[x_1,...,x_N]\in {\mathbb{R}}^{D_v\times N}$ ,自注意力模型的具体计算过程如下：

1. 对于每个输入 $x_i$，我们首先将其线性映射到三个不同的空间，得到查询向量 $q_i\in {\mathbb{R}}^{D_k}$、键向量 $k_i\in {\mathbb{R}}^{D_k}$ 和值向量 $v_i\in {\mathbb{R}}^{D_v}$．
   对于整个输入序列，线性映射过程可以简写为
   $$\begin{gathered} Q=W_{q}X\in {\mathbb{R}}^{D_k\times N} \\ K=W_{k}X\in {\mathbb{R}}^{D_k\times N} \\ V=W_{v}X\in {\mathbb{R}}^{D_v\times N} \end{gathered}$$
   其中 $Q=[q_1,..,q_N],K=[k_1,...,k_N],V=[v_1,...,v_N]$ 分别是由查询向量、键向量和值向量构成的矩阵．

2. 对于每一个查询向量 $q_n\in Q$，利用键值对注意力机制，可以得到输出向量 $h_n$，
   $$\begin{array}{rl}{h}_n& =att((K,V),q_n)\\ & =\sum _{j=1}^N{\alpha }_{nj}{v}_j\\ & =\sum _{j=1}^{N}softmax(s(k_j,q_n))v_j\end{array}$$
   其中 $n,j\in [1,N]$ 为输出和输入向量序列的位置，${\alpha }_{nj}$ 表示第个输出关注到第个输入的权重．

如果使用缩放点积来作为注意力打分函数，输出向量序列可以简写为
$$H=Vsoftmax(\frac{K^{T}Q}{\sqrt{D_k}})$$
其中 $softmax(\cdot )$ 为按列进行归一化的函数

自注意力模型可以作为神经网络中的一层来使用，既可以用来替换卷积层和循环层 ，也可以和它们一起交替使用（比如 可以是卷积层或循环层的输出）．
自注意力模型计算的权重 ${\alpha }_{ij}$ 只依赖于 $q_i$ 和 $k_j$ 的相关性，而忽略了输入信息的位置信息．因此在单独使用时，自注意力模型一般 需要加入位置编码信息来进行修正 ．

自注意力模型可以扩展为多头自注意力（Multi-Head Self-Attention）模型，在多个不同的投影空间中捕捉不同的交互信息．

人脑中的记忆

外部记忆

人脑中的记忆具有周期性和联想性．

记忆周期 记忆一般分为长期记忆和短期记忆．

• 长期记忆（Long-Term Memory），也称为结构记忆或知识（Knowledge），体现为神经元之间的连接形态，其更新速度比较慢．
• 短期记忆（Short-Term Memory）体现为神经元的活动，更新较快，维持时间为几秒至几分钟．

短期记忆是神经连接的暂时性强化，通过不断巩固、强化可形成长期记忆．

长期记忆可以类比于人工神经网络中的权重参数，而短期记忆可以类比于人工神经网络中的隐状态．

工作记忆

联想记忆 大脑记忆的一个主要特点是通过联想来进行检索的
指一种学习和记住不同对象之间关系的能力 \quad\quad {按内容寻址}

联想记忆是指一种可以通过内容匹配的方法进行寻址的信息存储方式，也称为基于内容寻址的存储（Content-Addressable Memory，CAM）．
作为对比，现代计算机的存储方式是根据地址来进行存储的，称为随机访问存储（Random Access Memory，RAM）．

借鉴人脑中工作记忆，可以在神经网络中引入一个 外部记忆单元 来提高网络容量．

外部记忆的实现途径有两种：

1. 结构化的记忆，这种记忆和计算机中的信息存储方法比较类似，可以分为多个记忆片段，并按照一定的结构来存储；
2. 基于神经动力学的联想记忆，这种记忆方式具有更好的生物学解释性．

记忆增强神经网络

为了增强网络容量 ，我们可以引入辅助记忆单元，将一些和任务相关的信息保存在辅助记忆中，在需要时再进行读取，这样可以有效地增加网络容量． \quad buffer

这个引入的辅助记忆单元一般称为外部记忆（External Memory），以区别于循环神经网络的内部记忆（即隐状态）．

这种装备外部记忆的神经网络也称为记忆增强神经网络（Memory Augmented Neural Network，MANN），或简称为记忆网络（Memory Network，MN）

主网络C: 也称为控制器（Controller），负责信息处理，以及与外界的交互（接受外界的输入信息并产生输出到外界）．主网络还同时通过读写模块和外部记忆进行交互． \quad 神经网络主体

外部记忆单元M: 外部记忆单元用来存储信息，一般可以分为很多记忆片段（Memory Segment），这些记忆片段按照一定的结构来进行组织．

记忆片段一般用向量来表示，外部记忆单元可以用一组向量 $M=[m_1,...,m_N]$ 来表示．这些向量的组织方式可以是集合、树、栈或队列等．

大部分信息存储于外部记忆中，不需要全时参与主网络的运算．

读取模块 ： 根据主网络生成的查询向量 $q_r$，从外部记忆单元中读取相应的信息 $r=R(M,q_r)$ ．

写入模块 ： 根据主网络生成的查询向量 $q_w$ 和要写入的信息 $a$ 来更新外部记忆 $M=W(M,q_w,a)$ ．

这种结构化的外部记忆是带有地址的，即每个记忆片段都可以按地址读取和写入

按内容寻址 使用注意力机制来进行,通过注意力机制可以实现一种“软性”的寻址方式， 即计算一个在所有记忆片段上的分布，而不是一个单一的绝对地址

比如读取模型 $\mathbb{R}$ 的实现方式可以为
$$\begin{array}{rlrl}r& =\sum _{n=1}^N{\alpha }_n{m}_n& & “内容读取”过程\\ {\alpha }_n& =softmax(s(m_n,q_r))& & “寻址”过程\end{array}$$

通过引入外部记忆， 可以将神经网络的参数和记忆容量“分离” ，即在少量增加网络参数的条件下可以大幅增加网络容量．因此，我们可以将注意力机制看作一个接口，将信息的存储与计算分离．

外部记忆从记忆结构、读写方式等方面可以演变出很多模型．比较典型的结构化外部记忆模型包括 端到端记忆网络、神经图灵机等．

端到端的记忆网络

在端到端记忆网络中，外部记忆单元是只读的．

端到端记忆网络（End-To-End Memory Network，MemN2N）采用一种可微的网络结构，可以多次从外部记忆中读取信息．

给定一组需要存储的信息 $m_{1:N}=\{m_1,...,m_N\}$， 为简单起见，这两组记忆单元可以合并，即 $A=C$．

首先将其转换成 两组记忆片段 $A=[a_1,...,a_N]$ 和 $C=[c_1,...,c_N]$ ，分别存放在两个外部记忆单元中，其中 $A$ 用来进行寻址，$C$ 用来进行输出．
主网络根据输入生成，并使用键值对注意力机制来从外部记忆中读取相关信息，

$$r=\sum _{n=1}^{N}softmax(a_n^{T}q)c_n$$

并产生输出
$$y=f(q+r)$$
其中(⋅)为预测函数．当应用到分类任务时，(⋅)可以设为Softmax函数．

多跳操作 为了实现更复杂的计算，我们可以 让主网络和外部记忆进行多轮交互． 在第轮交互中，主网络根据上次从外部记忆中读取的信息 $r^{(k-1)}$ $循环网络思想$，产生新的查询向量

$$q^{(k)}=r^{(k-1)}+q^{(k-1)}$$

其中 $q^{(0)}$ 为初始的查询向量，$r^{(0)}=0$ ．

假设第轮交互的外部记忆为 $A^{(k)}$ 和 $C^{(k)}$ ，主网络从外部记忆读取信息为
$$r^{(k)}=\sum _{n=1}^{N}softmax((a_n^{(k)}{)}^T{q}^{(k)})c_n^{(k)}$$

在 轮交互后，用 $\hat{y}=f(q^{(K)}+r^{(K)})$ 进行预测．这种多轮的交互方式也称为多跳（Multi-Hop）操作．
多跳操作中的参数一般是共享的．为了简化起见，每轮交互的外部记忆也可以共享使用，比如 $A^{(1)}=...=A^{(K)}$ 和 $C^{(1)}=...=C^{(K)}$ ．

神经图灵机

神经图灵机中的外部记忆是可读写的

图灵机 Mem+IO+C+P

神经图灵机 （Neural Turing Machine，NTM）主要由两个部件构成：控制器和外部记忆

控制器：一个前馈或循环神经网络 \quad 主网络、神经网络主体
外部记忆： $M\in {\mathbb{R}}^{D\times N}$ N个D维的记忆片段

在每个时刻，控制器接受当前时刻的输入 $x_t$ 、上一时刻的输出 $h_{t-1}$ 和上一时刻从外部记忆中读取的信息 $r_{t-1}$，并产生输出 $h_t$， 即$h_t=Controller(x_t,h_{t-1},r_{t-1}),h_{t}update$ , 同时生成和读写外部记忆相关的三个向量：查询向量 $q_t$、删除向量 $e_t$ 和增加向量 $a_t$．
然后对外部记忆 ${\mathcal{M}}_t$ 进行读写操作，生成读向量 $r_t$ 和新的外部记忆 $M_{t+1}$

读操作 在时刻, 外部记忆的内容记为 $M_t=[m_{t,1},...,m_{t,N}]$ ，读操作为从外部记忆 $M_t$ 中 读取信息 $r_t\in {\mathbb{R}}^D$ ．

• 首先通过注意力机制来进行基于内容的寻址，即
  $${\alpha }_{t,n}=softmax(s(m_{t,n},q_t))$$
  注意力分布 ${\alpha }_{t,n}$ 是记忆片段 $m_{t,n}$ 对应的权重，并满足 ${\sum }_{n=1}^N{\alpha }_{t,n}=1$ ．
• 根据注意力分布 ${\alpha }_t$，可以计算读向量（read vector）$r_t$ 作为下一个时刻控制器的输入．
  $$r_t=\sum _{n=1}^N{\alpha }_n{m}_{t,n\cdot }$$

写操作 外部记忆的写操作可以分解为两个子操作：删除和增加．

• 首先，控制器产生删除向量（erase vector）$e_t$ 和增加向量（add vector）$a_t$ ，分别为要 从外部记忆中删除的信息和要增加的信息．
  • 删除操作是根据注意力分布来按比例地在每个记忆片段中删除 $e_t$
  • 增加操作是根据注意力分布来按比例地给每个记忆片段加入 $a_t$．

具体过程如下：
$$m_{t+1,n}=m_{t,n}(1-{\alpha }_{t,n}{e}_t)+{\alpha }_{t,n}{a}_t\forall n\in [1,N]$$

通过写操作得到下一时刻的外部记忆 $M_{t+1}$．

基于神经动力学的联想记忆

将基于神经动力学（Neurodynamics）的联想记忆模型引入到神经网络以增加网络容量．

联想记忆模型（Associative Memory Model）主要是通过神经网络的动态演化来进行联想，有两种应用场景．

1. 输入的模式和输出的模式在同一空间，这种模型叫作自联想模型（AutoAssociative Model）．自联想模型可以通过前馈神经网络或者循环神经网络来实现，也常称为自编码器（Auto-Encoder，AE）．

2. 输入的模式和输出的模式不在同一空间，这种模型叫作异联想模型（Hetero-Associative Model）．从广义上讲，大部分机器学习问题都可以被看作异联想，因此异联想模型可以作为分类器使用．

联想记忆模型可以利用神经动力学的原理来实现按内容寻址的信息存储和检索． 一个经典的联想记忆模型为Hopfield网络．

Hopfield网络

除了作为机器学习模型外，神经网络还可以作为一种记忆的存储和检索模型． 单层反馈神经网络

Hopfield网络（Hopfield Network）是一种循环神经网络模型，由一组互相连接的神经元组成．
Hopfield 网络也可以认为是 所有神经元都互相连接的不分层的神经网络． 每个神经元既是输入单元，又是输出单元，没有隐藏神经元．一个神经元 和自身没有反馈相连，不同神经元之间连接权重是对称的．

假设一个Hopfield网络有 个神经元，第 个神经元的更新规则为

$$s_i=\{\begin{array}{ll}+1& if{\sum }_{j=1}^M{w}_{ij}{s}_j+b_i\ge 0\\ -1& otherwise\end{array}$$

$此处离散的，DHNN，神经元状态只有1和-1$

其中 $w_{ij}$ 为神经元 和 之间的连接权重，$b_i$ 为偏置

连接权重 $w_{ij}$ 有以下性质：
$$\begin{gathered} w_{ii}=0\forall i\in [1,M]\text{和自身没有反馈相连} \\ {w}_{ij}=w_{ji}\forall i,j\in [1,M]\text{不同神经元之间连接权重是对称的} \end{gathered}$$

Hopfield 网络的更新可以分为异步和同步两种方式．

• 异步更新是指每次更新一个神经元，神经元的更新顺序可以是随机或事先固定的．

• 同步更新是指一次更新所有的神经元，需要有一个时钟来进行同步．
  第 时刻的神经元状态为 $s_t=[s_{t,1},s_{t,2},...,s_{t,M}{]}^T$ ，其更新规则为
  $$s_t=f(W{s}_{t-1}+b)$$
  $s_0=x,W\in R^{M\times M},b\in R^M$,$f(\cdot )$ 为非线性阶跃函数．

能量函数 在Hopfield网络中，我们给每个不同的网络状态定义一个标量属性，称为“能量”．Hopfield网络的能量函数（Energy Function） 定义为

$$\begin{array}{rl}E& =-\frac{1}{2}\sum _{i,j}{w}_{ij}{s}_i{s}_j-\sum _i{b}_i{s}_i\\ & =-\frac{1}{2}{s}^{T}Ws-b^{T}s\end{array}$$

$Hopfield网络是稳定的???证明？？？$ ，即能量函数经过多次迭代后会达到收敛状态．
权重对称保证了能量函数在神经元激活时单调递减，而不对称的权重可能导致周期性振荡或者混乱． 反馈型神经网络(Hopfield)——稳定性

异步情况

$$\begin{gathered} \sum _{i=1}^n{w}_{ij{x}_i}-T_j=ne{t}_j(t) \\ {x}_{j+1}=sgn(ne{t}_j)\text{sgn为阶跃函数符号函数} \end{gathered}$$

同步情况

给定一个外部输入，网络经过演化，会达到某个稳定状态．这些稳定状态称为吸引点（Attractor）． 反馈型神经网络(Hopfield)——吸引子
在一个Hopfield网络中，通常有多个吸引点，每个吸引点为一个能量的局部最优点．

联想记忆 Hopfield网络存在有限的吸引点（Attractor），即能量函数的局部最小点．
每个吸引点都对应一个“管辖”区域 ${\mathcal{R}}_u$．若输入向量落入这个区域，网络最终会收敛到．因此，我们可以把吸引点看作网络中存储的模式（Pattern）． \quad 反馈型神经网络(Hopfield)——吸引子
将网络输入 作为起始状态，随时间收敛到吸引点 上的过程作为检索过程 ：x $\to$ u 联想记忆过程

信息存储 信息存储是指将一组向量 $x_1,...,x_N$ 存储在网络中的过程．

存储过程主要是调整神经元之间的连接权重，因此可以看作一种学习过程．

Hopfield网络的学习规则有很多种．一种最简单的学习方式为：神经元 和 之间的连接权重通过下面公式得到

$$w_{ij}=\frac{1}{N}\sum _{n=1}^N{x}_i^{(n)}{x}_j^{(n)}$$

其中 $x_i^{(n)}$ 是第个输入向量的第维特征.

如果 $x_i$ 和 $x_j$ 在输入向量中相同的概率越多，则 $w_{ij}$ 越大．这种学习规则和人脑神经网络的学习方式十分类似．

在人脑神经网络中，如果两个神经元经常同时激活，则它们之间的连接加强；
如果两个神经元经常不同时激活，则连接消失．这种学习方式称为赫布规则（Hebbian Rule，或 Hebb’s Rule）．

存储容量 对于联想记忆模型来说，存储容量为其能够可靠地存储和检索模式的最大数量．
对于数量为 的互相连接的二值神经元网络，其总状态数为 $2^M$，其中可以作为有效稳定点的状态数量就是其存储容量．
模型容量一般与网络结构和学习方式有关．

总结

源：以有限的算力来处理足够复杂的神经网络

注意力机制是一种（不严格的）受人类神经系统启发的信息处理机制．

注意力 、联想