关于卷积神经网络输入文本数据的某些问题

以前没有接触过计算机和深度学习,因此对于很多问题不太了解,望海涵。
本文主要是梳理个人对卷积神经网络输入的相关问题,即我期望能够对文本数据(并非词向量)做语义分割(二分类),其中原始数据行列分别为10000、39,但标签为1的行特别少,可以想象的是,如果在图像中,仅仅只有若隐若现的几个白点,其余都是黑点,如何很好的考虑行列间的关系呢?
我最初是怀着无限的热忱从事卷积网络的应用的,因为在数据处理与分析中它无疑是一把很锋利的“刀”,但现在冷静下来,我必须要重新考虑和回顾卷积网络的某些问题,它能否帮助我实现我最初的目的呢?

网上相关资料有很多,我这里也是在阅读中摘取一下给我灵感的句子:

1. 用 CNN 做图像识别,输入层是图像的像素点,且图片中的单个物体像素点是连续的,卷积核在输入层滑动时可以方便的提取到图片中的物体特征;另外,图片的像素点组成一个矩阵,这便于卷积核上下左右滑动提取特征。然而对于文本数据,文本中的词语却是离散的,比如“虽然……但是……”,这里“虽然”和“但是”显然具有关联的关系,但是它们之间却可能在句子中相隔很远,卷积核很难提取到这样的具有长距离依赖的词语之间的关系。

2. 相比于图像的像素点矩阵中的元素具有天然的稠密性,传统机器学习中的文本分类方法一般使用 bag of words 模型来表示文本的向量,它具有高维、稀疏的特性,这不适合作为 CNN 的输入,所以用词嵌入的方法来解决,即作为输入层,我们必须要得到一个二维矩阵,矩阵中的每一行对应着不同的词,不同的词用不同的向量表示。相比于图像的像素点矩阵中的元素具有天然的稠密性,传统机器学习中的文本分类方法一般使用 bag of words 模型来表示文本的向量,它具有高维、稀疏的特性,这不适合作为 CNN 的输入,所以用词嵌入的方法来解决,即作为输入层,我们必须要得到一个二维矩阵,矩阵中的每一行对应着不同的词,不同的词用不同的向量表示。

3.卷积操作其实就是卷积核矩阵和对应的输入层中一小块矩阵的点积相乘,卷积核通过权重共享的方式,按照步幅上下左右的在输入层滑动提取特征,以此将输入层做特征映射(features map)作为输出层,但在 NLP 中,由于词嵌入层中每一行都表示一个词语,我们在句子里面提取有利于分类的特征肯定是需要从词语(word)或者字符(char)级别去提取,也就是卷积宽口的宽度应该覆盖完全单个词向量,也就是 CNN 的卷积核宽度必须要等于词向量的维度
——————————————————————————————————————————————————————上面三点是我在知乎上看一位大神所写,给我茅塞顿开的感觉,但是细思一下,虽然不太懂词向量和文本分类这些知识点,但是大致明白一个词会有一个对应的一维向量,而每个卷积核能够对这一组向量直接提取进行分类,但是很明显的,如果我用这样的方式,我无法考虑20列数据之间的内在关系,仅仅考虑10000行的关系。(这或许也正是语义分割中往往是单通道的原因吧?tensor = 1)
——————————————————————————————————————————————————————
显然,我最初的目的是考虑行列之间的潜在关系,例如,图像上像素点之间的空间关系,还包括每个像素点RGB值的数据关系,很不幸,我的数据tensor等于20。
然而,我在学习之初尝试仅仅对数据列属性值关系的考虑,这个用很简单的全连接网络就可以实现,网上也有很多资料,但是这仅仅像是非线性的聚类分析,无法考虑数据点间的空间关系,我老板是不满意的。

当然,我算是比较固执的人,必须要反驳他,至于对不对就另做他想。以下是我当初坚持的依据:

(1)卷积网络大多是用于图像分析,而对于图像识别任务来说,每个像素和其周围像素的联系是比较紧密的,和离得很远的像素的联系可能就很小了。如果一个神经元和上一层所有神经元相连,那么就相当于对于一个像素来说,把图像的所有像素都等同看待。(这是卷积网络与全连接网络的区别,但是也显示了卷积网络的优点,但是不知道各位发现没有,如果我分析的对象只有一个点,如果和周围像素本来存在联系差异就不大,会出现什么状况?)
(2)我这样的数据,如果用语义分割的方法来得到关于每个点的分类概率值,是极易出现正负样本不均衡的现象的,在网上提到过很多解决的方法,但是效果甚微。
(3)…忘词了
——————————————————————————————————————————————————
总的来说,我开始犹豫和局促,样本输入问题该如何解决,到底是从网络结构着手还是训练数据着手,我实在是无法肯定,静下心看过部分文献以后,例如地震预测等,发现应用文本点数据应该是可以的,但是我应该将每个点数据转化为tensor为1的矩阵形式?
——————————————————————————————————————————————————
嗯,仅仅随心的记录一下

你可能感兴趣的:(卷积神经网络)