论文笔记: MOGRIFIER LSTM

2020 ICLR

  • 修改传统LSTM
    • 当前输入和隐藏状态充分交互,从而获得更佳的上下文相关表达

1 Mogrifier LSTM

  • LSTM的输入X和隐藏状态H是完全独立的

     

    •  机器学习笔记:GRU_gruc_UQI-LIUWJ的博客-CSDN博客
    • 这篇论文想探索,如果在输入LSTM之前,能让输入X和隐藏状态H做交互,那么性能能不能得到提升?
  • ——>论文提出了Mogrifier LSTM

     

    • 论文笔记: MOGRIFIER LSTM_第1张图片
      • i=0的时候,就是传统LSTM的输入和hidden state
      • i为奇数的时候,动输入x
      • i为偶数的时候,动隐藏状态h
    • 论文笔记: MOGRIFIER LSTM_第2张图片

2 实验

论文笔记: MOGRIFIER LSTM_第3张图片

 

你可能感兴趣的:(论文笔记,论文阅读)