AI神经网络-CNN基本结构分析（ Conv层、Pooling层、FCN层/softmax层）

类似于SVM，CNN为代表的DNN方法的边缘参数随着多类和高精度的要求必然增长。比如向量机方法，使用可以映射到无穷维的高斯核，即使进行两类分类，在大数据集上得到高精度，即保持准确率和高精度的双指标，支持向量的个数会随着数据集增长，SVM三层网会变得非常宽。CNN方法的多层结构，在保留边缘映射的数目的同时可以有效地降低“支持向量”的个数，是通过函数复合—因式分解得到的，至于要使用多少层的网络，每一层网神经元的个数，两层之间的链接方式，理论上也应该有一般的指导规则。

参考链接：人工机器：作为归纳系统的深度学习，参考文章：卷积神经网络.卷积层和池化层学习，原始CNN论文，对摘抄段落有大量修改，如有疑问，请参考原文。

特征学习与结构学习

深度学习以“数据驱动”范式颠覆了“人造特征”范式，完成“特征学习”，这是一个重大的进步。但与此同时，它自己又陷入了一个“人造结构”窠臼中。06年hinton教授发表在nature上的最初的论文，多层压缩映射。给出的深度学习的方案是无监督学习获取网络结构，之后再通过有监督学习优化参数，DNN网络的引爆点恰恰是结构学习。大量利用未标记数据学习网络结构是深度学习最初的构想。

　　但无论Hinton教授组最初设计的AlexNet，还是后来的VGG，GoogLeNet，ResNet等等，都是富有经验的专家人工设计出来的。给定一个新问题，到底什么样的网络结构是最佳的（如多少卷积层）却不得而知，这在一定程度上阻碍了深度学习在更多智能任务上的普及和应用。因此，同时学习网络结构和网络参数是一个值得大力关注的研究方向。（假设空间问题难以突破，至于过拟合欠拟合都没有统一简单的评判准则，也因此难以使用机器自动完成，相对于给定结构后使用数据结构优化参数，优化结构是个更加复杂且更高层的问题。多年已过，众人发现，ALexNet并非最优结构，这是一个经过大量专家枚举结构很长时间才得到的结果）。

而2006年Hinton教授等人倡导的却恰恰是利用无监督学习来对深层神经网络进行预训练。利用超量的数据学习网络结构是一个更耗费时间和计算能力的事情。此后，特别是DCNN兴起之后，无监督的预训练似乎已经被很多研究者所抛弃（特别是在CV领域，因为耗日持久，远不如使用专家经验代价更小）。

直接从大量无监督数据中学习模型确实是非常困难的，即便是人这部“机器”，也有“狼孩”的例子警告我们“无师自通”似乎是不现实的。但“少量有导师数据+大量无导师数据”的模式也许是更值得大力研究的。

Hinton教授提出的使用无监督训练确定网络结构，使用编码/解码器，对每次编码/解码进行分解/重建，使用残差逐层优化编码器，保证每一层对无标签样本的压缩函数的紧邻特性，在理论上是可行的，但在实际运用中是极难实现的。这种方法需要比有标签样本多更多的无标签样本，以分析海量样本中隐藏的模式，甚至需要高出一个或几个级别的样本数量，甚至是遍历级别的样本。在不停的调整网络结构，预训练结束之前，凭专家知识可能已经得到了近似最优网络结构。

这是一个人脑分支定界法法和计算机遍历方法的PK，现阶段计算机遍历的方法还是不现实的。

而工业上广为流行的CNN结构一般使用了ImageNet的分类模型，再通过微调使其适用于使用者自身研究的问题。这个众人使用的ImageNet模型，便相当于已经通过非监督学习学习了网络结构的预训练模型。

CNN的结构分析—卷积层

CNN的二维结构天然适合图像特征提取和识别过程，卷积运算的计算过程及功能相当于反向模板匹配。CNN通过卷积层，训练不同的卷积核来提取图像中隐含的模式。CNN训练得到的是滤波器-卷积核，本质上是对于某种特定的模式有响应，反之无响应，所以全卷积一直到最后一层，响应最强的特征图。

网如其名，CNN方法必然包含了一个卷积算子层。还是拿LeNet为例，结构图为：

LeNet使用了两个卷积层，C1层和C3层。C1层，输入图片：32*32 ；卷积核大小：5*5 ；卷积核种类：6 ；输出featuremap大小：28*28 （32-5+1）；神经元数量： 28 *28 *6；可训练参数：（5*5+1）*6（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器）；连接数：（5*5+1）*6*28*28。

C3层也是一个卷积层，输入：S2中所有6个或者几个特征map组合；卷积核大小：5*5；卷积核种类：16；输出featureMap大小：10*10；C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合，存在的一个方式是：C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入，最后一个将S2中所有特征图为输入；则：可训练参数：6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516；连接数：10 *10 *1516 = 151600。

卷积层的作用：卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征。使用不同的卷积核的组合，可实现梯度计算、尺度计算（配合maxpooling层）等作用，，可以对显著性进行选择。第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征（这也是深度的要求）。

图片来自：卷积神经网络.卷积层和池化层学习，抠图于原始CNN论文

卷积层的更新模型：卷积层类似于BP网络的二维描述，依然使用前向传播计算输出，使用反向传播在训练过程中调整权重和偏置，更新网络。参考卷积核的反传算法。一般前向计算，把卷积方法转换为图像矩阵和卷积核矩阵的乘法形式，直接计算。

卷积层的Caffe表示：caffe直接给出了卷积层的参数调整方法，不需要自己设计卷积神经元。

AlexNet模型配置文件：输出256个卷积图，使用5*5的卷积核，使用高斯核，标准偏差为0.1。此层附带了ReLu激活函数层。上层输入为96.

layer {

AI神经网络-CNN基本结构分析（ Conv层、Pooling层、FCN层/softmax层）

AI：IPPR的数学表示-CNN基本结构分析（ Conv层、Pooling层、FCN层/softmax层）

最新文章

个人分类

归档

你可能感兴趣的:(神经网络)

AI神经网络-CNN基本结构分析（ Conv层、Pooling层、FCN层/softmax层）

AI：IPPR的数学表示-CNN基本结构分析（ Conv层、Pooling层、FCN层/softmax层）

卷积神经网络系列之softmax，softmax loss和cross entropy的讲解 - ai之路(计算机视觉、深度学习、机器学习爱好者，欢迎交流！)

深度学习笔记8：softmax层的实现 - l691899397的博客

softmax层（无loss）是什么样的？ - 有信念，才能走的更远

卷积神经网络(CNN)基础介绍 - 网络资源是无限的

Softmax层解析 - lanran2的博客

深度学习笔记2：池化 全连接 激活函数 softmax - daydayup_668819的博客(开发人员技术积累)

FCN 简单梳理 - 时光杂货店

卷积神经网络CNN（3）—— FCN(Fully Convolutional Networks)要点解释 - fate_fjh的博客

CNN数学公式、Caffe框架简要 - tkyjqh的专栏

相关热词

机器学习40天精英计划-课程概述与答疑

池化函数(Pooling Function) - 飘过的春风(小白的进阶)

卷积神经网络系列之softmax loss对输入的求导推导 - ai之路(计算机视觉、深度学习、机器学习爱好者，欢迎交流！)

神经网络的softmax层 - pascal_lin(人生最大的遗憾在于，你胸怀大志，却在虚度光阴。)

李理：卷积神经网络之Dropout - qunnie_yi的博客

基于 CNN的年龄和性别检测 - 年轻即出发，(不努力，拿什么说明天)

CNN中的不同种类层简介 - xiaoxiang_aq 的博客

Tensorflow CNN(两层卷积+全连接+softmax) - goodshot的专栏(追赶，超越)

目标检测系列——R-CNN - liumingpei的博客

Caffe 代码解读之 softmax layer - bailufeiyan的博客

卷积神经网络——输入层、卷积层、激活函数、池化层、全连接层 - 大丈夫(达则兼济天下，穷则独善其身)

全卷积神经神经网络-深度学习笔记 - 知行_那片天(知，行，寻找我的那片天)

一文读懂卷积神经网络（Convolutional Neural Network，CNN） - damifeng2018的博客

机器学习 - 卷积神经网络CNN初解 - 呵呵(哈哈)

对池化层、ReLU函数、全连接层的理解 - weixin_40396948的博客

对CNN中pooling的理解 - 竭尽全力的专栏(发表是最好的记忆)

CNN中pooling层的作用 - byplane的博客

CNN神经网络层次分析 - liulina603的专栏

CNN—pooling层的作用 - machinelp的专栏(成功收获成果，失败收获智慧，投入收获快乐！)

MatConvNet基础—卷积，激活，池化层操作 - kangqi5602的博客

CNN基本原理详解 - woaijssss的博客

各种CNN构架解读 - xyyhlark01的博客

cnn(卷积神经网络)比较系统的讲解 - 生活不止眼前的苟且，还有诗和远方.....(如果你坚持学习一生，你会非常幸福！)

卷积层和池化层的计算公式相同： - 有机合成研究员的博客(我是这个世界的梦魇)

CNN入门讲解：我的Softmax和你的不太一样 - bobo_jiang的博客

深度学习--softmax函数推导 - tiran_yang(假如你不逼你自己，你永远不知道自己有多优秀。)

BP神经网络(输出层采用Softmax激活函数、交叉熵损失函数)公式推导 - jaster_wisdom的专栏(待到山花烂漫时，她在丛中笑)

Softmax与SoftmaxWithLoss原理及代码详解 - sundrops的专栏(deep learning)

系统学习深度学习（四） --CNN原理，推导及实现源码分析 - 工作笔记(从科学家手里，接取火种，然后燎原大地。。。)

sigmoid和softmax总结 - 老哥的专栏

C++卷积神经网络实例：tiny_cnn代码详解（6）——average_pooling_layer层结构类分析 - 陈俊岭的程序员之路（公众号求关注，方便交流）(烦请关注一下下方公众号，方便交流，私信和评论可能没办法及时回复，非常抱歉)

【caffe】计算pooling层和convolution层输出图像大小 - a200800170331的专栏

在训练CNN的时候，各层back propagation的递推公式 - u012702874的专栏

dilated conv带孔卷积、pooling层提高感受野 反卷积 的理解 - jiachen0212的博客

最新文章

个人分类

归档

你可能感兴趣的:(神经网络)

深度学习笔记2：池化全连接激活函数 softmax - daydayup_668819的博客(开发人员技术积累)

dilated conv带孔卷积、pooling层提高感受野反卷积的理解 - jiachen0212的博客