机器学习——梯度下降

04.梯度下降

多功能

梯度下降算法

通过特征缩放确定更好的梯度下降值,归一化操作,使之收敛的更快
收敛所需要的迭代更少

  • 学习率:如果学习率正确的话,每一次迭代都应该是下降的,直到收敛
    学习率过大的时候,会找不到局部最小值,代码没错的情况下减小
    学习率过小的话,会导致收敛得很慢

  • 多项式回归:把多变量函数转换成多次项的单一变量函数
    根据实际应用中,选择较符合的替换函数(平方根或三次函数)

正则化方程

为了解决多变量函数中,求偏导过于复杂的问题

  • 线性代数中的正则化表达式,特征值和特征向量

对比于梯度下降法,正则化方程迭代速度更快,而且无需选择参数,计算的更快;

但当变量变得很大时,梯度下降法也可以很好地计算,正则化方程在逆矩阵运算和转置矩阵中会有很大计算量

  • 正则化方程不可逆的情况(奇异矩阵或退化矩阵)
    1. 因为特殊原因,有多余的特征值,没有打到满秩的条件
    2. 线性相关

你可能感兴趣的:(机器学习,算法,人工智能)