李宏毅机器学习笔记1:Regression

损失函数

李宏毅机器学习笔记1:Regression_第1张图片

梯度下降

  1. 随机初始化起始位w0
  2. 在w0处对损失函数求导(偏导)
  3. w1=w0-学习率*w0处的倒数
  4. 一直重复计算,直到导数为0,或者达到最大迭代次数。

李宏毅机器学习笔记1:Regression_第2张图片

Generalization

  • 泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。
  • 使真实数据的误差更小。
  • 一个更复杂的模型可以使训练集上的误差更小,但是不一定能使测试集上的误差也更小(过泛化)

李宏毅机器学习笔记1:Regression_第3张图片
李宏毅机器学习笔记1:Regression_第4张图片

李宏毅机器学习笔记1:Regression_第5张图片

  • 损失函数+很小的wi,可以使预测的函数曲线更加平滑。
  • 多平滑?的选择。
  • 越大,越平滑,在训练集上的误差越小。
  • 不能太过平滑。

考虑更多参数的模型

  • 指示函数:取真为1,假为0.
    李宏毅机器学习笔记1:Regression_第6张图片

你可能感兴趣的:(李宏毅机器学习,深度学习,机器学习)