A Radical-Aware Attention-Based Model for Chinese Text Classification提高中文文本分类的算法

提出了一种基于注意的四粒度模型(RAFG)，该模型充分利用了汉字、词、字级词根的特点。采用了一种序列化的BLSTM结构，该结构具有上下文感知能力，能够捕获远程信息，对中文字符共享属性和文本序列特征进行建模

输入层：特征（字）

              词

并且得到两种词根级特征：

 

英文符号和标点都表示为“-”

 嵌入层：

将汉字，词以及其词根级特征分别表示为嵌入矩阵

 

 表示层：

给定句子x的emdedding：

隐藏层： 

 和是隐藏层的前向和后向隐向量 是两者的串联，表示为隐藏层的输出

设计了一种能够捕捉偏旁与其对应字词之间相互关系的注意机制

每一个输出和分别和做内积

 

 得到新的embedding，带有注意力。

预测层：

 将和的输出连接起来为Con输入到全连接层

 

模型训练：

 

 运用交叉熵损失函数 T是输出的文本，Corpus为语料库，K表示类别数