前向网络，两层MLP，可以作为未归一化的Key-Value记忆结构

前向网络，两层MLP，可以作为未归一化的Key-Value记忆结构

Feed-Forward Layers as Unmarlized Key-Value Memories.

前向传播结构

传统的两层神经网络可以被写为$FF(x)=W_2\sigma (W_{1}x+b_1)+b_2$，$\sigma$是非线性激活函数。如果去掉偏置，可以改写成$FF(x)=\sigma (x\cdot K^T)\cdot V$。

神经记忆

一个神经记忆模块有$d_m$个key-value对，这个成对的kv就是记忆。每个key用一个d维的向量表示$k_i$，同时$d_m$个key就可以构成一个参数矩阵$K\in {\mathbb{R}}^{d_m\times d}$。同样我们可以定义value矩阵$V\in {\mathbb{R}}^{d_m\times d}$，对于一个输入向量$x\in {\mathbb{R}}^d$，我们可以轻松的计算输入向量在$d_m$个keys上的分布（伪分布）
$$p(k_i|x)\propto \exp (x\cdot k_i)$$
以此分布查询key对应value的值进行聚合得到输出结果
$$MN(x)=\sum _{i=1}{d}_{m}p(k_i|x)v_i$$
如果用矩阵表示
$$MN(x)=softmax(x\cdot K^T)\cdot V$$