HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS 论文简介

学习层次和时间表示一直是RNN的长期挑战之一。多尺度RNN一直被认为是能够解决这个问题的一种有效方式，但是缺乏经验证据表明这种方式可以通过发现序列中的潜在层次结构准确地解决时序依赖问题。而这篇论文提出了一种新颖的结构，可以通过使用新颖的更新机制和不同的时间尺度来编码时序依赖解决潜在的层次结构问题，并且没有使用明确的边界信息。

已知深度CNN可以获得空间数据的层次表示，RNN可以获得时序数据时间表示。但是同时获得时序数据的层次和时间表示是RNN的一个长期问题。

多尺度RNN被认为是一种解决上述问题的一个有效方法。基于高级抽象变化更新缓慢而低级抽象变换更新快这一思想，多尺度RNN将隐藏单元分到不同时间尺度的多模块中，给关注长期依赖的高层分配更多的隐藏单元，而给关注短期依赖的低层分配较少的隐藏单元。

实现多尺度RNN最流行的方法是将时间多尺度设置为超参数，但是现实情况下，比如单词或者句子的长度是多变的，所以我们希望模型能够自适应时间多尺度。这篇论文就很好的实现了这一希望。

为了实现自适应时间多尺度，作者提出了一种二值边界检测器，边界检测器只在相应的抽象级别的segment被完全处理完时打开，在处理中时保持关闭。在每一层的每一个时间步，根据边界状态进行下列三个之一操作：COPY,UPDATE,FLUSH。根据以下规则选择一个操作：

其中UPDATE操作与LSTM更新规则类似，但是UPDATE操作是根据边界状态稀疏执行的。COPY操作就是简单的复制前一个时间步的记忆和隐藏状态。当边界检测器打开时FLUSH操作被执行，它首先会将当前segment的汇总表示发送给下一层，然后会在开始处理下一个segment之前重新初始化状态，这就抹去了当前层所有的之前时间步的表示。