论文笔记:A clockwork RNN

A clockwork RNN(CW-RNN)


本文主要提出了一个新型的RNN模型,跟原始RNN不一样的地方就在于,因此隐层单元的不同,同时计算是有方向周期的,降低了参数量。
为什么有关rnn的文章大多是跟NLP有关的~
苦苦寻找与图像处理有关的attention model中

模型可视化结构:
论文笔记:A clockwork RNN_第1张图片
隐层被分成了g个模块,每个模块的大小是k,每个模块内部是全连接的。模块j到i的recurrent仅当Ti小于Tj时才会存在。根据增长的阶段对模块进行分类,模块之间的传递在隐层之间是从右向左的,从慢的模块到快的模块。

CW-RNN跟RNN的主要不同之处在于在每个时间点t,只有模块i满足t%Ti=0,才会执行,产生输出。Ti的是任意的,这篇论文取得是Ti=2^(i-1).

序列生成的实验

论文里说,这个模型比普通的模型要快很多,正确率也好很多,我们看一下结果对比图(:) 超喜欢这个图,有木有,简洁明了,涵盖均值方差范围)
论文笔记:A clockwork RNN_第2张图片

横向不同的序列,列是不同的方法,点点代表目标信号,CW-RNN效果超棒,,,我都怀疑是不是MATLAB直接拟合的。。。:
论文笔记:A clockwork RNN_第3张图片

语句分类(spoken word classification)

论文笔记:A clockwork RNN_第4张图片

论文笔记:A clockwork RNN_第5张图片


EMMA
SIAT
2017.03.10

你可能感兴趣的:(论文笔记:A clockwork RNN)