深度学习第四期学习笔记01：DNN与混合网络

卷积神经网络

飞速发展，图像识别效果超过人类
IMAGENET 挑战赛，识别准确度已经超过人类(2015 ResNet)

交并准则：一般比值大于0.5时是比较准确的定位

图像分类问题：在几个中选一个 损失函数用softmax

损失函数

越过delta线就要加多少惩罚
max(0,错误类的得分-安全警戒线的距离)衡量哪一个大。
某一个类别得分和真实得分的惩罚

形成概率问题:答案是猫的概率是多少?标准答案是猫{1，0，0}


从原始得分变为概率向量
希望-logpi越小越好–这就是交叉熵损失
为什么要加log？因为概率很小的时候，可以将连乘变为加分问题。

两种损失函数的理解，差异：

深度学习是一个黑箱，唯一要调的就是输入和输出

32* 32* 3(RGB) 拉长成一条向量

W是可以调的内容

神经网络

单个神经元感知器-过度到浅层神经网络-深层神经网路

playground.tensorflow.org

逻辑与

把两个线性通过感知器合成为非线性的分类

只要两个中有一个是1，输出结果就是1
有了逻辑或和逻辑与之后。



一般业务性的神经网路也就搭3-4层。

f(wx+b)----- f(w’x_b’) 每次都要过一遍非线性变换的激活函数

每层线性变换之后，一定会接一个非线性变换的函数
why？多个线性和一个线性 本质上是一样的，没有意义
因此添加一个非线性函数，使之进行一个复杂的变化

BP算法

假设函数：x-y
损失函数：评估predict

神经网路到卷积神经网络

去均值:减去均值
归一化：input在通过一个范围内
PCA：
白化：

原始值中心点移到中间去
去均值有什么用:正态分布均值是0.5，3x+2的均值在哪

PCA：去相关的操作
白化：相当于类似标准化的操作

不可以在测试集上减去测试集的均值。只能在测试集上减去训练集的均值。（或RGB三个颜色通道上的均值）

归一化：
经常是乘以255分之1

神经网路里输入维度必须一致
最重要的层级网络（卷积层）

卷积层

alpha go的卷积神经网络大概有17-19层


固定了一组w，换滑窗的内容（输入的x在不断变化）

滑窗：3*3
Stride;2
zero-padding 1
填充值

卷积神经网络的优点：
可以把参数量降下来

激活函数

sigmoid现在用的比较少（有梯度消失，梯度离散的问题，梯度=0时，训练不动了），relu（>0时y=x）用的比较多
maxout也是一条直线
elu也是对relu的修正


如果loss不降了，就再试一试别的。

下采样层/池化层

图像的数据维度太高了，数据处理即时用了卷积层，进行优化，数据量还是很大。
池化在于压缩数据量，减小过拟合
64通常是上一层神经元的个数 Depth 因此池化层不会对64这个维度做处理。（即64是channel数）

max pooling：保留了数据中最明显/突出的信息
图像分类用max pooling比较多

全连接层