深度学习_准备工作

深度学习

    • 常用函数
    • 学习率问题
    • 反向传播:
    • 神经网络可以表达非线性的原因
    • 参数初始化

常用函数

sigmoid:
深度学习_准备工作_第1张图片
Relu激活函数
sigmoid存在的主要缺点是 当网络层数较多的时候 容易发生梯度消失 因为在sigmoid中 x值过大或者过小 它的倒数值都会接近于0 ,这样便不能进行反向传播。而Relu函数不会
深度学习_准备工作_第2张图片
Softmax:
深度学习_准备工作_第3张图片

学习率问题

学习率过高过或过低都不行

深度学习_准备工作_第4张图片

反向传播:

反向传播即在 更新w的时候需要做的事情 一步一步的反向求导 更新参数

深度学习_准备工作_第5张图片

神经网络可以表达非线性的原因

由于有了激活函数 可以使得线性的WX经过激活函数后 表达出非线性效果
深度学习_准备工作_第6张图片

参数初始化

对于w若开始是0 则参数无法更新 一般采用随机初始化 w在0-1之间 对于B的初始化是取0或者1
深度学习_准备工作_第7张图片

你可能感兴趣的:(深度学习_准备工作)