neural network basics2-4

CNN卷积神经网络（convolutional neural networks，CNNs）

CNN一般都是出现在图像领域，一开始出现是应用在计算机视觉领域里，但由于它结构特殊性，它也可以应用于NLP领域，例如在性态分类关系分类中有很好的应用，则归功于CNN比较擅长于提取局部和位置不变的模式，例如在计算机视觉里面的颜色边角等等，还有NLP里面的短语和一些局部的语法结构等

CNN它提取局部模式的一个步骤。主要就是来计算一个句子中所有可能的N元组短语的一个表示

例如以下例子：the plane is taking off，当我们来计算n元组的时候，n元组就表示我们选取几个相邻的词作为短语，如bigram，他就是选取两个相邻的词作为短语

所以在处理的时候，虽然说它一般不会需要一些额外的语言学数据，例如：依赖解析的

而CNN的网络结构往往包含了输入层、卷积层、最大化层和全连接层

输入层，首先需要对我们这个输入数据进行处理，我们可能会形成一个向量矩阵，

在我们拿到这个向量矩阵之后，我们需要进入卷积层，然后通过卷积格filter，来对我们象征矩阵进行一个卷积，来提取我们的特征向量feature

接着进入到池化层，它相当于对我们特征的进一步提取，一般是对我们局部的信息选取最大值或者平均值，例如我们以4格feature为例，一般选取最大值的话，相当于我们会选取这4个格子里面的数值里面最大值来作为代表当前4个格里面信息的一个代表，来由此进行特征的输出

最后这一层，会根据我们的任务选取的不同，来对我们最终特征下拉进行处理

具体如下：

输入层：需要通过我们其他的技术，来讲我们输入的词转化为向量表示，在下图中的x就相当于一个向量表示矩阵，其中的m就比哦啊是矩阵长度，这里的m向量为6，d表示我们进行词向量表示的时候所选取的维度

当我们拿到句子向量表示矩阵之后，我们需要进行卷积，通过一个滑动的卷积核来进行特征提取，这里x表示我们输入的一个向量表示，xi：i+j表示我们所选取的n元组的表示，w是滑动卷积核，f表示卷积之后的特征表示，还有点乘

如以下例子：

一般在卷积过程中，会有一个滑动的卷积核，来对我们的整个输入进行一个计算，

这个卷积核的大小，表示一次可以计算多大范围，这里就相当于3x4覆盖区（fliter w）的计算，

而且我们在计算的过程中，因为它是同一个，我们会一直用同一个卷积核进行来计算，所以在这里面卷积核的参数也是一个全局共享的，会被不断的重复使用，而且每一个参数在每一个单元上都会被使用，这样其实也是降低了参数量，同时也可以得到使我们每个参数都可以得到充分的训练

那卷积是怎么进行的呢？

演示如下：我们可以在input window的格子上，对他进行一个简单的赋值

赋值完之后，我们就要对他们元素之间进行计算，然后再相减相加

如：我们针对第一个格，为1，我们对应filter卷积核里面是2，相当于计算之后就是1x2，依次类推，将3x4区域各自的结果相加：2+2+1+1+……=x，即为特征提取，即featuref1中第一格为x

这个区域计算完成之后，因为它是一个滑动窗口，我们要滑动到下一个区，直到覆盖完所有的区

CNN的应用领域很广：

目标检测、视频分类、语音识别、文本分类等（后为相关论文）

---

CNN与RNN的比较

（卷积和循环）

首先：他们两者的关注点其实是不一样的

CNN擅长来提取局部的特征；RNN可以很好地来处理变长文本，来对变长文本的文本依赖进行很好的建模。由于他们模型机制的不同，所以：

（1）RNN的参数量也会比CNN多一些

（2）CNN它主要的核心计算在卷积的部分，是有一个卷积核的，这些卷积核在进行计算的时候，他们之间是没有相互依赖的，所以对于分类，它可以很好地进行一个并行化的一个计算；而RNN有很强的一个数据想要依赖（我们在计算当前的时候，首先需要计算过去的数据，计算完之后当前的数据，我们才能计算下一个数据），我们不能进行一个并行化运算。

CNN针对问题transformer也有了一个比较好的一个解决，可以进行并行化，然后加速训练的速度，由此发展，我们的的大模型就慢慢发展起来了