开篇
对于自然语言处理（NLP）我是一个入门菜鸟，在后面一段工作时间中，我将大量接触金融的AI业务，因此需要补充些该领域的知识。经过了解发现AI金融有很多业务是和NLP相关的，当然也有OCR、图像检测分类、人脸识别和语音识别等。
上周接触了一下文本分类，了解的不多，学习了一下ATT-CNN用于文本分类的代码，发现了一些问题，写这篇博客记录一下。首先描述下代码中实现文本分类（句子为单样本）的方式：1、中文文本分词、分字符，用的是jieba；2、构建字典、词典，最长句子作为所有句向量的长度；3、字、词向量嵌入用embedding_lookup；4、句子与单个字符或词用attention，单个词向量使用attention之后增加一倍的长度；5、字词分别做卷积、池化，然后拼接合并，用统一标签求loss。
主要就是在上述的第4步骤中，原始的代码用了多次循环去求取增加的这一倍向量，导致前向计算和反向求导所用时间巨长，加载图的过程就花费不止2个小时，所以修改了下实现方式。
ATT-CNN的介绍
https://blog.csdn.net/tcx1992/article/details/83344272
原作者代码实现
https://github.com/tcxdgit/cnn_multilabel_classification/blob/master/cnn_attention_model.py
参考的方法
https://www.jianshu.com/p/cc6407444a8c
改动前
def word_attention(self, x_i, x, index):
"""
计算词attention
:paramx_i: 当前时间（step）的词向量
:paramx: 所有时间（整个句子）的向量（矩阵）
:paramindex: 当前step
:return:
"""
with tf.device(self.train_device):
e_i =list()
c_i =list()
for outputin x:
output = tf.reshape(output, [-1, self.embedding_size])
att_hidden = tf.tanh(tf.add(tf.matmul(x_i, self.attention_W), tf.matmul(output, self.attention_U)))
e_i_j = tf.matmul(att_hidden, self.attention_V)
e_i.append(e_i_j)
e_i = tf.concat(e_i, axis=1)
alpha_i = tf.split(tf.nn.softmax(e_i), self.sentence_length, 1)
for j, (alpha_i_j, output)in enumerate(zip(alpha_i, x)):
if j == index:
continue
else:
output = tf.reshape(output, [-1, self.embedding_size])
c_i_j = tf.multiply(alpha_i_j, output)
c_i.append(c_i_j)
c_i = tf.reduce_sum(tf.reshape(tf.concat(c_i, axis=1), [-1, self.sentence_length -1, self.embedding_size]), 1)
return c_i
改动后
def word_attention_wpf(self, x_i, x, index):
"""
计算词attention
:paramx_i: 当前时间（step）的词向量
:paramx: 所有时间（整个句子）的向量（矩阵）
:paramindex: 当前step
:return:
"""
with tf.device(self.train_device):
output=tf.tile(tf.expand_dims(tf.matmul(x_i, self.attention_W),1),[1,x.get_shape().as_list()[1],1])
att_hidden = tf.tanh(tf.add(output, tf.tensordot(x, self.attention_U,axes=1)))
e_i_j = tf.tensordot(att_hidden, self.attention_V,axes=1)
alpha_i = tf.nn.softmax(e_i_j)
c_i_j = tf.multiply(alpha_i, x)
#tf.assign(c_i_j[:,index,:],0)
c_i = tf.reduce_sum(c_i_j,1)