基于Attention理论的LSTM 隐藏层权重自调节机制

整体思路如下：

在两层LSTM结构中，或者是BiLSTM结构中，其实不同隐藏层的输出权重应该更有所选择才好，比如用于情感分析的一句话，我今天心情很好，上午去打球了，下午去打游戏了。如果我们采用传统的方法去训练LSTM再分类的话，会发现，这个分类结果可能是中性，当然这和训练集有关，如何减小这种误判断呢。我们就需要在Hidden的时候引入注意力机制，自动调节hidden，忽略对结果不重要的语素。即加大 我今天心情很好，减小上午去打球了，采用乘法门来控制，类似于LSTM中的遗忘机制，这里采用sigmoid来激活，控制门大小。

网络结构如下：

 

 

整体效果：

比之前用传统的LSTM 以及一些变种的LSTM效果都要好，胜过单一matching pyramid。