论文笔记《融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究》

对于CNN RNN GRU有一些思考：
（１）对于词 语 的 向 量 化 表 示，高 维 分 布 式 向 量表示赋予具有相似词义的词语之间的高相似性。与此同时，与独热表示相比，词嵌入方式可以更好地解
决短文本的词义冗余等问题，减少计算量。
（２）ＣＮＮ 在文本处理中能够学习提取到位于文本不同位置上的局部特征。ＲＮＮ 模型能够更 好地考虑文本内的序列关系，并且能够学习到较长序列文本依赖而不仅仅局限于局部特征之中。
（３）ＣＮＮ 与 ＲＮＮ 模型的结合，一 方 面 能 够 充分利用 ＣＮＮ 对文本特征较强的提取能力；另 一 方面可以发挥 ＲＮＮ 在时间序列维度上强大的记忆能
力及对文本的表征建模能力。这种结合方式对于提升情感 分 析 准 确 度，具 有 较 强 的 研 究 意 义 与 研 究价值。
本文主要贡献如下：
（１）提出一种多通道卷积和双向门限循环单元结合的网络模型。该模型能够利用不同尺寸的卷积核在不同通道内提取文本中粒度不同的特征信息，同时能够保留文本信息间的序列关系，有效地获取文本评论中句子内部及句子之间的相互联系。 （２）引入注意力机制。注意力机制能够自适应地结合文本上下文信息，提取影响情感极性分类的关键文本特征，使模型能够更关注于文本中重要的部分，有效提升模型分类准确度。
（３）引入Maxout神经元，更好地提升模型抵抗梯度弥散的能力，加快模型收敛的速度；增强模型的泛化能力，提升模型鲁棒性。

Model:

多通道卷积门限循环神经网络（ＭＣＮＮ－ＢＧＲＵ）
1、词向量进行拼接，拼接成一个矩阵
2、卷积部分：
ＣＮＮ 能够高效提取词 汇 在 句 中 的 局 部 上 下 文信息。对于卷积操作，选择不同尺寸的卷积核大小，可以提取广度不同的上下文信息，即不同粒度的序列特征信息。
假定第ｉ个通道卷积操作所使用的卷积核ｗ ∈ Ｒｈ×ｄ ，其中ｈ为滤波器窗口宽度，控制单词的个数，则提取后的一个特征Cij 可以表示为式（９）。 ｃｉｊ ＝ｆ（Ｗ ·Ｘｉ：ｉ＋ｈ－１ ＋ｂ)，ｂ∈Ｒ 为偏置项，ｆ（·）为卷积核函数。 ｘｉ：ｉ＋ｈ－１ ∈Ｒｈ×ｄ 代表ｈ个词构成的局部滤波窗口，
滤波窗口逐步滑动至ｘｎ－ｈ＋１：ｎ，｛ｘ１：ｈ，ｘ２：ｈ＋１，ｘｎ－ｈ＋１：ｎ｝所 对应的第ｉ个通道，所得到的特征序列如式（１０）所示。 ｃｉ ＝ ［ｃｉ，１，ｃｉ，２，．．．，ｃｉ，ｎ－ｈ＋１］ （１０）
将文本经过多通道卷积层产生的特征序列进行连接，形成融合特征序列ｃ。假设 通 道 个 数 为ｋ，则 如式所示。ｃ＝ ［ｃ１，ｃ２，．．．，ｃｋ］ 为了更有意义的充分利用粒度不同的序列特征，本文将多通道卷积操作提取到的特征序列进行融合，共同作 为 双 向 ＧＲＵ 的输 入。使 用 共 享 权 重的双向 ＧＲＵ 将粒度不同的特征信息映射到相同的向量空间内。
3、GRU输入：
对于给定的ｎ维输入 （ｘ１，ｘ２，．．．，ｘｎ），在ｔ时 刻，ＢＧＲＵ 的隐藏层输出ｈｔ，其具体的计算过程如下：

融合注意力机制的 ＭＣＮＮ－ＢＧＲＵ网络