李宏毅机器学习笔记：回归 ——梯度下降法 过拟合 正则化

源学习笔记链接: https://datawhalechina.github.io/leeml-notes/#/chapter3/chapter3.

学习笔记总结：

李宏毅机器学习课程第3节 回归

• 以回归为脉络引出重要的梯度下降法 随机选择一个参数起始点，在损失函数 模型参数中去寻找模型的最优化参数，根据起始点的偏微分值从而决定下一个参数设置值，学习率的大小决定了寻找最优化参数的速度
• 梯度下降法应用广泛，但受限于初始点的设置会有不同的局部最优解，但对线性回归模型不存在这方面的困扰
• 解决模型过拟合的一个重要手段 是正则化，正则化可以使得模型更平滑，从而对测试集中非常规的输入值有更好的稳定性，而不会产生过大的预测误差。 设置正则化参数时不宜过大也不宜过小，需根据实际情况去选择最优的正则化参数