卷积神经网络

卷积神经网络基本架构

卷积神经网络，主要特点：卷积运算操作。

领域：

在图像领域，NLP领域的文本分类、软件工程的数据挖掘中软件缺陷预测等问题上获得较优的效果

卷积神经网络是一种层次模型，输入为元素数据：RGB图像，原始音频数据

主要运算：

1.卷积 convonlution

2.池化pooling

3.非线性激活函数 non-linear activation function

每种运算对应一个层：卷积层，池化层，

算法思想：

卷积神经网络的最后一层将其目标任务(分类、回归等)形式化为目标函数(或称为代价函数，损失函数 )。通过计算预测值与真实值之间的误差或损失,凭借反向传播算法(BP)将误差或损失由最后一层逐层向前反馈,更新每层参数,并在更新, 参数后再次前i馈,如此往复，直到网络模型收敛 ,从而达到模型训练的目的。

卷积神经网络就像搭积木一样把卷积等操作，作为基本单元，依次搭在原始数据上，每层数据形式为一个三维张量

对于大规模数据运算：采用批处理的随机梯度下降法。批处理的随机梯度下降法在训练模型阶段随机选取 n 个样本作为一批样本,先通过前馈运算得到预测并计算其误差,后通过梯度下降法更新参数,梯度从后往前逐层反馈,直至更新到网络的第一层参数,这样的一个参数更新过程称为一个“批处理过程”。不同批处理之间按照无放回抽样遍历所有训练集样本,遍历一次训练样本称为“一轮”。

卷积神经网络中的两类基本过程:前馈运算和反馈运算。神经网络模型通过前馈运算对样本进行推理和预测,通过反馈运算将预测误差反向传播逐层更新参数,如此两种运算依次交替迭代完成模型的训练过程。

卷积神经网络基本部件

1.“端到端”的思想

深度学习的一个重要思想即“端到端”的学习方式(end-end manner ),属表示学习(representation learinng)的一种。这是深度学习区别于其他机器学习算法的最重要的一个方面。其他机器学习算法,如特征选择算法(feature selection)、分类器(classifier)算法、集成学习(ensemble learning )算法等,均假设样本特征表示是给定的,并在此基础上设计具体的机器学习算法

整个学习流程并不进行人为的子问题划分,而是完全交给深度学习模型直接学习从原始输入到期望输出的映射

卷积神经网络基本流程图

2.卷积层

卷积运算

卷积操作示例

权值共享

卷积操作：卷积是一种局部操作,通过一定大小的卷积核作用于局部图像区域获得图像的局部信息

三种边缘卷积核（或称为过滤器）：整体边缘过滤器、横向边缘过滤器、纵向边缘过滤器，以下为三种过滤器的一个例子：

整体边缘过滤器、横向过滤器、纵向过滤器

3.汇合层(pooling 也译作池化)

一般使用的汇合：最大值汇合、平均值汇合

通卷积层不同，汇合层不包含需要学习的参数

使用时仅需指定汇合类型(average或max 等)、汇合操作的核大小( kernal size)和汇合操作的步长(stride)等超参数即可

平均值汇合：在每次操作时,将汇合核覆盖区域中所有值的平均值作为汇合结果，最大值汇合也类似。