1、传统神经网络和卷积神经网络

传统神经网络和卷积神经网络

  • 1、神经网络分类
  • 2、传统神经网络层次结构
  • 3、**卷积**神经网络的层次结构及其作用
    • 3.1其他特点

1、神经网络分类

根据矩阵运算划分
卷积神经网络:点积矩阵卷积运算(多维);卷积神经层由多个特征面构成,每一个特征面则是由很多个神经元构成。核代表参数w
传统神经网络:叉积矩阵乘法运算(一维);每层由排成一列的神经元构成;神经元:每个神经元代表矩阵的一个列向量Xi,神经元连线代表系数W。每一个像素值,都是一个神经元,每个神经元代表了一个特征。

2、传统神经网络层次结构

输入层:的每个神经元代表了一个特征
隐藏层:特征提取
输出层:输出层个数代表了分类标签的个数
1、传统神经网络和卷积神经网络_第1张图片

3、卷积神经网络的层次结构及其作用

多通道输入,多卷积核,输出的通道数=卷积核的个数。
输入层->卷积层->激活层->池化层->全连接层

数据输入层:对原始数据进行初步处理,使卷积神经网络能有更好的效果

卷积层:提取特征(矩阵大小个数都变化);卷积核遍历图片上每一个像素点

激活层:计算结果通过一个激活函数加一个非线性的关系,使能逼近任何函数。

池化层:数据压缩,提取主要特征,降低网络复杂度;不改变矩阵的深度,缩小矩阵,减少网络的参数(矩阵变小,个数不变)

光栅化(Rasterization):为了与传统的多层感知器MLP全连接,把上一层的所有Feature Map的每个像素依次展开,排成一列。某些情况下这一层可以省去。

全连接层:分类器角色,将特征映射到样本标记空间,本质是矩阵变换。将特征图拉成一维向量,将每个特征点作为一个神经元进行分类任务。把所有局部特征结合变成全局特征,用来计算最后每一类的得分。

1、传统神经网络和卷积神经网络_第2张图片

3.1其他特点

1、卷积结构可以减少深层网络占用的内存量,其中三个关键操作——局部感受野、权值共享、池化层,有效的减少了网络的参数个数,缓解了模型的过拟合问题。

2、填充padding
为了使卷积操作后能得到满意的输出图片尺寸,经常会使用padding对输入进行填充操作。默认在图片周围填充0。使卷积核对边缘信息的处理不止处理一次,对边缘信息的提取更加充分了,减少边缘信息丢失。
1、传统神经网络和卷积神经网络_第3张图片

3、感受视野
网络越深,感受视野越大,检测目标越大。底层网络感受视野小,检测小目标。
增大感受视野:可以用空洞卷积、spp、上下采样融合、网络深度

你可能感兴趣的:(深度学习笔记,cnn,神经网络,深度学习)