卷积神经网络（二）

基于卷积神经网络的情感分析

 

一．深度学习之卷积神经网络

 

ConvNets旨在处理由多个数组组成的数据：例如由三个2D数组构成的彩色图像包含三个颜色通道中的像素强度，许多数据模态是多个阵列的形式，一维的信号和句子，二维的图像或音频频谱图，三维的视频或体积图像

到21世纪初，卷积神经网络在图片检测和识别上已经取得了很大的成就，它也因此承担了很多任务如交通标识，面部识别等等。尽管取得了这些成功，ConvNets大部分被遗弃了主流计算机视觉和机器学习社区直到2012年ImageNet竞赛。当深卷积网络应用于大约一百万个图像的数据集包含了1000个不同的类，他们取得了壮观的成果。它的正确率几乎是当时所有方法中最高的，取得这种成功主要是由于GPU。ReLU。一种称为dropout的新正则化技术以及通过变形现有的训练集来产生更多的训练示例的技术。这样的成功带来了一场CNN的革命，ConvNets现在是几乎所有认可的主要方法和检测任务，

最近的ConvNet架构有10到20层的ReLUs，数亿的权重，以及数十亿的连接单位。而训练这样的大型网络可能需要几周只有两年前，但是由于硬件软件以及算法的进步，现在训练如此大的训练集只需要几个小时。ConvNets很容易实现在芯片或现场可编程门阵列中通过高效硬件实现，很多公司如NVIDIA，Mobileye，英特尔，高通等三星正在开发ConvNet芯片以实现实时视觉智能手机，相机，机器人和自动驾驶汽车中的应用。

 

二．基于卷积神经网络的短文本情感分析

短文本的情感分析，比如微博、推特之类的，由于这类的文本上下文的数据很有限，所以比较有挑战性。有效解决这个任务的要求超过了bag-of-word的范畴，它要求用更加规范的方法从句子和文本中提取信息。另外为了用可扩展的方式填充上下文信息的间隙，它更适合于使用可以利用从大量未标记文本中获取先验知识的方法。

在这项工作中提出了一个深层卷积神经网络，利用从字符到句子级信息来执行短文本的情感分析，故将网络命名为：从字符到句子的卷积神经网络。它使用两个卷积层从任何大小的词和句子中提取相关的特征。此外，在实验中，提供有关无监督预训练有用性的信息；字符级特征的贡献；检测否定的句子级特征的有效性。这个神经网络提取从字符级到句子级的特征，它的创新之处在于这个卷积神经网络有两个卷积层，可以处理任意大小的词语和句子。

在该网络模型中构建了两个卷积层，第一层是构造词的特征，包括了字级别嵌入和词级别嵌入；第二层是构造句子的特征，和第一层有些类似，是从词级别到句子级别的特征提取。

之所以采用这种从字符级到句子级的卷积神经网络，是因为本实验是进行短文本的情感分析，实验所用的数据集为Stanford Sentiment Treebank (SSTb)和StanfordTwitter Sentiment corpus (STS)，都是短文本数据集，而短文本的特点就是缺少上下文，语境不足，因此如果直接用词级或者句子级很难根据语义进行分类，而字符级是基于图像识别进行特征提取的，因此不需要语义和句法信息。

实验中还将从字符级到句子级的卷积神经网络（CharSCNN）与一些常用的算法进行了对比，包括在二分类（积极/消极）和细粒度（非常消极、消极、中性、积极、非常积极）上的比较，还有在有非监督预训练和没有非监督预训练中都进行了对比，具体数据在PPT中会有展示。

本文主要是参考了两篇论文，然后对卷积神经网络进行了进一步的介绍，具体参考文献和详细的展示见PPT。

编者：HYB