记忆网络论文相关笔记(不全)

 
  

Hybrid computing using a neural

network with dynamic external memory

 
 
  
DNC 架构不同于最近提出的Memory networks和Pointer networks的神经记忆框架,其区别在于DNC内存有选择性地可以写入和读取,
 允许迭代修改内存内容。
 如果内存可以被认为是 DNC 的 RAM,然后网络,被称为控制器,是可微 CPU的操作是通过梯度下降进行学习。
 DNC的早期结构,神经图灵机ntm,拥有相似的结构,但使用了更受限的内存存取方法
 决定 和应用权值的单元叫做读写头
 相比传统计算机使用唯一编址内存,DNC使用可微注意/分析机制[2,16-18]定义指派内存第N行或者“位置”,在N*W的矩阵M中(这样直接定义内存有问题啊),
 这些分派,这里我们成为权值,表示此处位置涉及到读或者写的程度/度量?。读向量r通过对记忆矩阵M的一个读权值操作wr返回( 记忆位置的权值累加和 )

 a,一个DNC结构从额外的数据源接受数据输入并产生输出;
b,c,控制器可以写/输出向量(参数化一个写磁头-绿色)且并联一个读磁头(上图中有两个,蓝色和粉色)。
写磁头定义了一个写和擦除向量(用于编辑N*M内存块),其元素的量级和符号通过块区域和shading唯一表示。另外,一个写键用来查找内容去寻找先前写过的位置(待编辑)。写键可以用于定义一个权值(有选择的)确定于写操作在矩阵块的行或者位置。
读磁头可以使用门(被称作读模式)来进行 使用一个读键(“C”)进行内容查找,和读出位置后(使用F键进行前向搜索或者“B”键进行后项)写入。
d.使用标记位置向量 记录目前已使用位置,一个缓存链接矩阵记录被写入的顺序;图中,我们使用有向箭头表示写入的顺序。

KV-MemNN可以看作是MemN2N的一个拓展. 而Recurrent Entity Network也借用了key-value memory,不过EntNet中的key是可学习的参数.

EntNet的每个memory cell由key和value组成,分别为wi和hi。 每个cell都有一个关联的processor,
即一个gated RNN,负责根据当前输入和过去的状态来更新状态。各个memory cell是独立的,因此EntNet可以看做是一系列共享权值的gated RNN。

了RelNet,在EntNet的基础上增加了参数rij给出每个两个memory hi和hj的的关联程度,也取得了很好的结果。

你可能感兴趣的:(论文笔记,深度学习,自然语言处理)