chapter2深度学习之梯度下降法

2.1Review

  • 数字的图像分辨率为28*28像素,每个像素的灰度值在0和1之间,它们决定网络输入层中784个神经元的激活值
  • 下一层的每个神经元的激活值等于上一层所有激活值的加权和,再加上偏置,最后将这些输入到Sigmoid或者ReLu之类的压缩函数。
  • 随意的选取含有16个神经元的两个隐含层的神经网络,计算出大概需要13000多个权重偏置值需要调整。
  • 选取两层结构:数字9第一层识别0,第二层识别1,最后将图像拼接,从而实现手写数字识别

2.2MNIS数据集

  • MNIS数据集包含数以万计的手写数字扫描图像及其正确分类

  • MNIST数据集第一部分包含60,000张图像用作训练数据。这些图像是来自250个人的扫描笔迹样本,其中一半是美国人口普查局的雇员,一半是高中学生。图像为灰度图像,尺寸为28 x 28像素。

  • MNIST数据集的第二部分是10,000张要用作测试数据的图像。

2.3代价函数

  • 代价函数可以通过训练得出一个对网络糟糕程度的评分
  • 让网络学习的实质是让代价函数的值最小,值最小的代价函数是平滑的

2.4梯度下降法

  • 梯度下降算法:找到特定的权重和偏置,从而使代价函数最小化
    chapter2深度学习之梯度下降法_第1张图片
    chapter2深度学习之梯度下降法_第2张图片

  • 小球下山模型:球滚下山最快
    chapter2深度学习之梯度下降法_第3张图片
    chapter2深度学习之梯度下降法_第4张图片

  • 梯度下降数学表达

  • 学习率控制“走”幅度

  • 在梯度下降算法中,处于局部最优解,下一步梯度下降法更新不变,不会改变参数的值

  • 线性回归的梯度下降
    chapter2深度学习之梯度下降法_第5张图片
  • 多元梯度下降算法

sum

chapter2深度学习之梯度下降法_第6张图片

chapter2深度学习之梯度下降法_第7张图片
chapter2深度学习之梯度下降法_第8张图片
chapter2深度学习之梯度下降法_第9张图片

你可能感兴趣的:(机器学习)