深度学习算法原理——Attention BiLSTM

论文地址：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

文章中提到使用双向的LSTM（Bidirectional LSTM）加上Attention的机制处理文本分类的相关问题，以解决CNN模型不适合学习长距离的语义信息的问题。

1. 网络结构

在Attention BiLSTM网络中，主要由5个部分组成：

• 输入层（Input layer）：指的是输入的句子，对于中文，指的是对句子分好的词；
• Embedding层：将句子中的每一个词映射成固定长度的向量；
• LSTM层：利用双向的LSTM对embedding向量计算，实际上是双向LSTM通过对词向量的计算，从而得到更高级别的句子的向量；
• Attention层：对双向LSTM的结果使用Attention加权；
• 输出层（Output layer）：输出层，输出具体的结果。

注意点：

• embedding通常有两种处理方法，一个是静态embedding，即通过事先训练好的词向量，另一种是动态embedding，即伴随着网络一起训练；
• 双向LSTM，这个网络在其他的文章中都已重点介绍，这里就不详细展开。

2. 双向LSTM的输出

假设正向的输出为$\underset{h_i}{\to }$，逆向的输出为$\underset{h_i}{\leftarrow }$，则第$i$个词的向量为：

$$h_i=\left[\underset{h_i}{\to }⨁\underset{h_i}{\leftarrow }\right]$$

其中，$⨁$表示的是对应元素相加。

3. Attention机制

假设$H$是所有词向量的集合：$\left[h_1,h_2,\cdots h_T\right]$，那么Attention的计算方法如下：

$$M=tanh\left(H\right)$$
$$\alpha =softmax\left(w^{T}M\right)$$
$$r=H{\alpha }^T$$

最终用于分类的向量表示为：$h^{\ast }=tanh\left(r\right)$。