2018 · ICLR · SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS

2018 · ICLR · SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS

想法来源：为了解决RNN训练速度慢，在长序列问题上表现不佳。

价值：

方法：rnn中添加了一个离散的skip门。在跟新这个门的更新方法上用了上下步关联的方法。

缺点：离散问题用了RL和均匀分布解决，不可以的。

详细方案：

-c450

其中S(s, x)可以看做是RNN，

表示离散化的u的概率变化。注意最后一步中，如果

那么得到的

在最后的会作为skip概率的增加量。反之为减少比例。

image

其中离散化的可以用伯努利分布或者RL，如果用RL，反向传播的时候，梯度设置为1。相当于是GP，没有用到reward。

数据集：

1. MNIST
2. IMDB

实验：
文章中的主要实验大多是在比较时间成本和运算成本

ADDING TASK：作者说这个初始的LSTM中的实验数据，对每一个单词序列都标注了是够该被忽略。FLOPs是浮点运算。

-c500

分类任务MNIST

-c500

IMDB

-c500