卷积神经网络学习1

综述：
CNN—>深度学习—>表示学习—>机器学习—>人工智能
机器学习是人工智能的一个分支，致力于研究如何通过计算的手段，利用经验来改善计算机自身的性能，通俗点就是机器的自我学习：利用经验提取出特征，利用特征构建模型。
特征的提前是复杂的过程，机器自动提取叫做“表示学习”，深度学习是其中的一个经典代表。
深度学习：输入为原始数据，经过层层抽象将自身任务所需的特征提取出来，最后以特征到任务目标的mapping作为结束。
深度学习中一类代表算法是神经网络算法，包括：深度置信网络、递归神经网络、卷积神经网络。

基础理论：
CNN最主要的特点是卷积运算，在图像相关任务上表现优越，如：图像分类、检索、语义分割、物体检测等计算机视觉问题。
基本机构：CNN是一种层次模型，输入为原始数据（图像、音频数据等），通过卷积、汇合、非线性激活函数映射等操作，将高层语义抽取出来，这个过程称为前馈运算。通过技术预测值和真实值间的误差，通过反向传播算法，将误差向前反馈，更新参数，从而达到模型收敛。
不同类型操作称为“层”：卷积层、汇合层等。
前馈运算：原始数据经过操作抽象出高级语义（特征）。
反馈：前馈运算中的预测值与真实值间的误差，向前反馈，更新每一层的参数，最终达到模型收敛，从而达到模型训练的目的。

基本模块：
端到端思想：没有任何人为干预直接映射为高层语义表示并实现向任务目标映射的过程。

对深度模型而言，其输入数据是未经任何人为加工的原始样本形式，后续则是堆叠在输入层上的众多操作层。这些操作层整体可看作一个复杂的函数 fcnn，最终损失函数由数据损失和模型参数的正则化可以简单抽象为从原始数据向最终目损失共同组成，深度模型的训练在最终损失驱动下对模型进行参数更新，并将误差反向传播到网络各层。模型的训练可以简单抽象为从原始数据向最终目标的直接你和，中间部件起到了将原始数据映射为特征（即特征学习）随后再映射为样本标记（即目标任务，如分类）的作用。

卷积层：
请先复习图像卷积的概念：https://blog.csdn.net/chaipp0607/article/details/72236892?locationNum=9&fps=1
整体边缘滤波器、横向滤波器、纵向滤波器，可以检测出图像中物体边缘信息、横向边缘信息、纵向边缘信息。
事实上，CNN中的卷积核是通过网络训练出来的，可以学到任意角度的边缘滤波器。不仅如此，检测颜色、形状、纹理等基本模型的滤波器都可以包含在一个足够复杂的深层卷积神经网络中。通过组合这些滤波器以及随着网络的后续操作的进行，一般的模式会逐渐抽象为高层语义。盲人摸象后将各自结果集大成。
简单点理解：CNN可以自己训练出各种卷积核，通过卷积核得到各自信息，将这些信息组合起来即得到高层语义。

汇合层：
常用的汇合操作：平均汇合、最大值汇合。同卷积层操作不同时，汇合层不需要学习参数，使用时仅指定汇合类型（average、max）、汇合操作的核大小、汇合操作步长等超参数即可。
汇合操作选取一个区域内的最大值或平均值，如下图：

从上图可以看到：汇合操作后结果比输入减少了，可以看作是一种降采用。
作用：特征值不变；特征降维，减少了下一层输入大小；在一定程度防止过拟合，更方便优化。

激活函数：
激活函数层又称为非线性映射层，为了增加整个网络的表达能力（即非线性），以形成复杂的函数。
激活函数模拟了神经元特性：神经元有一个阈值，输入信号累积效果超过该阈值，神经元激活而处于兴奋状态，否则处于压抑状态。以下为常用的激活函数ReLU函数（有助于随机梯度下降方法收敛）：

全连接层：
起到“分类器”的作用，如果说卷积层、汇合层、激活函数层是将原始数据映射到隐层特征空间的话，全连接层则是将学到的“分布式特征表示”映射到样本的标记空间。全连接层可由卷积操作实现：若前层为全连接，可以转化为卷积核为1*1的卷积；若前层为卷积层，可以转化为卷积可为h*w的全局卷积。
以VGG-16网络模型为例：对于224*224*3的图像输入，最后一层卷积层的输出为7*7*51的特征张量，若后层为含有4096个神经元的全连接层时，可用卷积核为7*7*512*4096的全局卷积来实现。

目标函数：
全连接层是将网络特征映射到样本的标记空间做出预测，目标函数的作用是衡量该预测值与真实样本标记间的误差。交叉熵损失函数和l2损失函数分别是分类问题和回归问题最常用的目标函数。

综上：机器学习通过特征构建模型，特征通过深度学习得到。卷积层通过卷积核得到边缘、纹理、颜色等，卷积核是自学得到的；汇合层类似下采样，主要用于减少下一层的输入；激活函数层用非线性构建复杂函数；全连接层将前面得到的特征映射到样本的标记空间，得到特征的预测值；目标函数用于衡量预测值与真实值间的误差。