卷积神经网络部分知识点

全连接网络处理图像问题:

  参数太多,易过拟合

 

卷积神经网络解决方式:

  局部关联,参数共享(卷积核滑动不变)

 

一维卷积:

卷积神经网络部分知识点_第1张图片

 

padding(零填充)

卷积神经网络部分知识点_第2张图片

 

输出特征图大小:

  输入NN 卷积核FF

  输出(N-F)/stride+1

 

  除不尽(padding):

  输出(N+padding*2-F)/stride+1

 

池化

  保留主要特征的同时减少参数和计算量,防止过拟合,提高模型泛化能力

  一般处于卷积层与卷积层之间,全连接层与全连接层之间

  类型:

    Max poolng最大值池化(常用)

    Average pooling平均池化

 

全连接

  两层之间所有神经元都有权重链接

  通常全连接层在卷积神经网络尾部

  全连接层参数量大

 

AlexNet

  DropOut(随机失活)

    训练时随即关闭部分神经元,测试时整合所有神经元

  数据增强

    平移,翻转,对称

    改变RGB通道强度,对RGB空间做高斯扰动

 

ZFNet

  网络结构与AlexNet相同

  更改卷积层感受野大小,步长,滤波器个数

 

VGG

  更深 16-19层

  VGG16 VGG19

Googl eNet

  网络包括22个带参数的层(考虑pooling是27层),独立成块的层总共有约100个

  参数量大概是AlexNet的1/12

  没有FC层(除类别输出层)

 

  InceptionV1初始版本(多种卷积核,多尺度)

卷积神经网络部分知识点_第3张图片

  InceptionV1 插入1*1卷积核进行降维

卷积神经网络部分知识点_第4张图片

  InceptionV2
卷积神经网络部分知识点_第5张图片

    降低参数量

    增加非线性激活函数,使网络产生更多独立特征,表征能力更强,训练更快

 

ResNet

  残差学习网络
卷积神经网络部分知识点_第6张图片

  残差思想:去掉相同的主体部分,从而突出微小的变化(若F(x)=0,则输出=0+x,相当于去掉无用层)

  可以被用来训练非常深的网络

你可能感兴趣的:(卷积神经网络部分知识点)