卷积神经网络之-Alexnet学习

目标识别

目标识别：目标是什么
目标检测：目标是什么位置在哪里
目标分割：像素的对前景与背景分类
目标跟踪：动态目标的轨迹

Alexnet

前向传播

换一种表达方式

三个卷积层 三个池化层 三个全连接层
激活函数用ReLu，卷积层需要BN

各层之间的作用

卷积层：提取特则
relu：非线性表达能力
池化层：减少计算量
BN层：规范数据分布
全连接层：分类

前向传播

Softmax
loss 函数：利用真实标签和卷积结果判断结果好不好

loss函数具象化一个山谷，谷底的loss函数最小，模型最佳

下山整个过程：先前向传播得到一个loss值再根据loss值反向传播更新权值这个过程就是在学习，重复上述两个步骤，使loss值降低，不断地使模型变得更好。

如何确定每一步往那个方向走？就是梯度。梯度就是函数在该点的方向导数沿着该方向区最大值–下山最快的方向
梯度的计算方法：求偏导

卷积层

可从这里学习：https://editor.csdn.net/md/?articleId=125686922

简要说一下

卷积核决定这一层学习的能力，投到输入层对应数字相乘后相加填入到输入层，如上图所示。
卷积核数字决定好与不好

relu函数

先说sigmoid函数激活，
sigmoid函数靠左更没有这个特性（有这个特性机率很小—0）
sigmoid函数靠右更没有这个特性（有这个特性机率很大–1）
sigmoid函数会存在梯度爆炸和梯度弥散

relu函数输入数据没有达到某一个界限就全部为0，靠近右边群不变成斜率为1
前向传播中把不达标的数据变得没那么重要
达标的数据在做反向传播时斜率为1（重要的保留下来）
relu函数没有sigmoid存在问题，不重要的东西直接归零

池化层

将原图片做小

每一个框代表一个像素，缩小时取四个块中最大值即可-最大池化（Maxpooling）。保留最明显的特征。

BN层

规范数据分布
取均值：输入数据中心化到0
把数据分布拉到0点左右

归一化：幅度归一化

幅度不一致：画了个一线天，下降很难——一直在摆动，使得学习率小，迈动幅度小。
高和宽幅度都变成1。

PCA/白化：爬起携带信息量较少的维度，降维
白化：去相关

BN——批量规范化

很容易陷入假谷底，来回摆
优化后步子就可以迈大一点，就可以使学习率大，收敛速度快

全连接层

作用：分类

使得重要特征的作用更大一些。全连接层链接类别
输出是类别概率最大的

Alexnet创新点

不足