CS229之多变量线性回归


在上一节简单线性回归的基础上,介绍了多元线性回归和多项式线性回归(构造和选择特征)。然后介绍几个具体的优化trick。最后介绍了正则化方程,是一种特征维度低的情况下,凸函数求最优点的有效解法。


1. 多变量的线性扩展

皆为列向量,注意转秩

2. 多变量梯度下降


3. 优化trick

3.1 feature scaling

在梯度下降中,变量之间的取值范围差异过大,会影响收敛的速度。如下图的左边,等高图会变得瘦高,迭代次数和收敛次数多。




3.2 优化rick:学习率

好的学习率应该是目标函数随着迭代次数的增加而下降的过程

过大的学习率可能会导致以下问题



4 多项式回归分析

使用数学知识来构造有用特征。



5 正则化公式  VS 梯度下降



注意的是,并不是所有矩阵都有逆,因此,可求伪逆


比较


你可能感兴趣的:(CS229之多变量线性回归)