神经网络与深度学习:梯度下降法

梯度下降法

  • 1.基本原理
  • 2.梯度下降法实现线性回归问题
  • 3.模型评估

1.基本原理

一元凸函数求极值
神经网络与深度学习:梯度下降法_第1张图片
二元凸函数求极值
神经网络与深度学习:梯度下降法_第2张图片

2.梯度下降法实现线性回归问题

一元线性回归可以转换为二元函数求极值的问题
神经网络与深度学习:梯度下降法_第3张图片
神经网络与深度学习:梯度下降法_第4张图片
学习率:对于凸函数,只要学习率设置的足够小,可以保证一定收敛。
超参数:在开始学习之前设置,不是通过训练得到的。
(包含学习率、迭代次数等)

归一化/标准化:将数据的值限制在一定的范围之内
使所有属性处于同一个范围、同一个数量级下;更快收敛到最优解;提高学习器的精度。
神经网络与深度学习:梯度下降法_第5张图片

3.模型评估

误差(error):学习器的预测输出和样本的真实标记之间的差异
训练误差(traning error):训练集上的误差
泛化误差(generalization error):在新样本上的误差
过拟合(overfitting):学习过度,在训练集上表现很好,在新样本泛化误差很大
欠拟合(underfitting):学习不足,没有学习到样本中的通用的特征
神经网络与深度学习:梯度下降法_第6张图片

你可能感兴趣的:(深度学习,神经网络)