Normal Equation

一.标准化方程

在前面的梯度下降法中我们提到过如何用矩阵来表示线性回归:

Xθ=Y X θ = Y

那么是否可以直接用矩阵运算来解决参数 θ θ 的取值问题呢?答案是可以的,即利用如下公式便可一步得到 θ θ 的值:

θ=(XTX)−1XTY θ = ( X T X ) − 1 X T Y

但是该式子会引出以下在线性代数的相关问题.

1.为什么不直接使用式子 YX−1 Y X − 1 求解

原因很简单,当X不是方阵时,X是不存在逆矩阵的,所以需要通过 (XTX)−1XT ( X T X ) − 1 X T 来间接求逆矩阵,那么又引出下一问题

2.若 XTX X T X 不存在逆矩阵呢

XTX X T X 不存在逆矩阵,通常存在以下情况中:
1. 存在两个相关的特征量,例如住宅面积使用了 m2 m 2 和英亩两种单位作为两个特征量,那么会使得矩阵 XTX X T X 不满秩,这时删除其中一个特征量即可.
2. 特征量的值大于训练数据个数,也会导致不满秩,此时需要删除一些特征量或进行标准化(不太清楚标准化).

二.标准化方程与梯度下降比较

	标准化方程	梯度下降
优点	无需选取学习率α,无需迭代	当训练数据个数n很大时,速度也较为平稳
缺点	由于求逆运算的复杂度为 O(n3) O ( n 3 ) ,所以当n很大时,求解时间过长	需要调整学习率α,使收敛速率和准确度达到平衡