textcnn详解

1. CNN

1.1、单通道卷积核

一个矩阵代表一个图像的表示，卷积核Filter对矩阵进行卷积(矩阵相乘再相加)，得到卷积特征；

 

1.2、多通道

多个卷积核进行卷积，提取不同位置的特征；多通道特征相加；得到最后的卷积矩阵。

1.3、池化层

1.3.1、步长

步长(stride)是指每次移动的跨度；填充(padding)是指在矩阵周边进行扩充的长度

1.3.2、池化

选择一个区域，进行池化；池化一般有两种，平均池化和最大池化

1.4、全连接层

1.4.2、激活函数

relu激活函数，计算量小，梯度为常量(0,1)，可以缓解梯段消失，可以有效防止过拟合

https://zhuanlan.zhihu.com/p/97326991

2、Text

2.1、文本常用处理

       截断和填充

3、TextCNN 

　　我们之前提前CNN时，通常会认为是属于CV领域，用于计算机视觉方向的工作，但是在2014年，Yoon Kim针对CNN的输入层做了一些变形，提出了文本分类模型textCNN。与传统图像的CNN网络相比, textCNN 在网络结构上没有任何变化(甚至更加简单了), 从图一可以看出textCNN 其实只有一层卷积,一层max-pooling, 最后将输出外接softmax 来n分类。

3.1、textcnn的特点：

textcnn通过一维卷积来获取句子中的n-gram特征表示；预训练词向量作为embedding layer。

 

3.2、textcnn结构图

 

1、embedding 为7*5；

2、通过6组卷积核；2组3种(2*5, 3*5, 4*5)卷积核；卷积核第二维的维度与词embedding层的一致，在移动过程中相当于提取n-gram特征。

3、得到卷积向量维度(d_embedding - d_filter+1)/stride   (例如黄色的部分，(7-2+1)/1=6 ）

4、最大池化，拼接

5、softmax，分类

参数

 

 

 

 

 

 

 

参考文献

https://www.cnblogs.com/ModifyRong/p/11319301.html(文章)

https://www.bilibili.com/video/BV1H5411a7bx?from=search&seid=2503221631212378925 （视频）