机器学习笔记——正规方程与梯度下降算法

对于一个有m个样本、 n个特征的多项式,正规方程与梯度下降算法有着各自的特点。

梯度下降算法 正规方程
需要选择学习率α 不需要学习率
需要经过多次迭代 直接一步得出结果
在特征值N很大的时候运行效率良好 需要计算 ( X T X ) − 1 (X^{T}X)^{-1} (XTX)1 在计算矩阵的逆运算所花费的时间方面有 O ( n 3 ) O(n^{3}) O(n3) 的时间复杂度,在N很大的时候运行效率很低下

总体来说:当N很小的时候推荐使用正规方程求最优解,而当N很大时推荐使用梯度下降算法。衡量大小的标准:if N >= 10000 then: 用梯度下降算法 else: 使用正规方程

你可能感兴趣的:(机器学习笔记——正规方程与梯度下降算法)