ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

ICLR2019
Please click here for GitHub link.

Introduction

Ordered Neurons（有序神经元）可以使LSTM模型能够执行树状组合而不会破坏其顺序形式。它可以通过控制神经元的更新频率来动态分配神经元，以表示不同的时间尺度依赖性

ON-LSTM Cell

• 部分公式与 标准LSTM 相同
  
  其中，到部分的关键公式将在下文给出。

Activation function: cumax()

g 可以看作一个 binary gate：g = (0, ..., 0, 1, ..., 1)
设 d 为 binary gate 0 和 1 的分界点，那么各个点为d的概率：

因此在 g 中第 k 个点之前存在 d 的概率，即第k个点为1的概率为：

Structured Gating Mechanism

• Master forget gate & master input gate

  
  
  
  

  master forget gate 是一个 从 0 到 1 增长的向量，master input gate 是一个从 1 到 0 下降的向量。

为 master forget gate 和 master input gate 的重叠部分。
每当存在重叠时，对应的神经元段编码包含一些先前和当前输入的不完全成分。
由于这些成分是不完整的，所以该段由和在标准LSTM模型中进一步控制，以便在块内实现更细粒度的操作。

Experience

在 language modeling, unsupervised constituency parsing, targeted syntactic evaluation (Marvin & Linzen, 2018) 和 logical inference 中取得了较其他RNNs更好的效果。