#吴恩达· 机器学习笔记（④ 多元梯度下降及正规方程）

DAY 7

多特征

之前的视频是关于一个特征变量的（房屋面积对应房价）

现在除了房屋面积还有诸如卧室数量、楼层数量等一系列的影响因素

相较于传统的假设，现在的假设式如下：

多元线性回归假设模型：

多元梯度下降算法

更新后的代码如下：

DAY 8

特征缩放

（出现这种原因是因为两个值（x、y）差别太大（一个是在0-2000，一个是在0-5））
以1个特征来举例，如果椭圆越狭长，那么梯度下降时间就会越长
而如果我们将其进行一个缩放（除以某个数），那么其图像就更有利于梯度下降，所耗时长就会短一些：

将其缩放至-1~1左右为宜

均值归一化

特征缩放不需要多精确 只是让梯度下降运行得更加快一点。

多元梯度下降法——学习率

在本章中我们将探讨 “调试” 是什么，以及一些小技巧来 确保梯度下降是正常工作的 ，还有如何选择学习率α
梯度下降法所做的事情就是找到一个θ值，并且希望它能最小化代价函数J(θ)
通过观察图像，结合迭代次数判断是否收敛：

如果出现下述图像，说明学习率α取值过大，算法未能很好收敛：

如何选择合适的学习率α（找准头尾，每次以3的倍数左右递增）

DAY 8

特征和多项式回归

换个角度思考问题，模型会变得更加高效：
不用宽度和深度去描述房屋，专用宽度和深度的乘积，也就是占地面积去衡量房屋的价格

与选择特征的想法密切相关的一个概念被称为多项式回归
但是这个要注意特征缩放（尤其是相差太多的情况）

看图不使用2次方程是因为2次最终会降下来，和实际情况不符

正规方程（区别于迭代方法的直接方法）

梯度下降法是一步一步直至收敛至最优，正规方程可直接一步得到最优值

如用梯度下降法，需要求出每一个点的倒数值并令其等于0，才能找到最小（即最优）值点

正规方程解决办法如下：

一般情况：

采用正规方程不需要特征缩放

何时使用梯度下降、何时使用正规方程？
数目不大采用正规方程，数目过大（超过1w）采用梯度下降

总的来说正规方程在线性回归中采用的要比梯度下降更为频繁。

DAY 9

正规方程在矩阵不可逆情况下的解决方法

矩阵不可逆的原因可能是因为：
① 数据有冗余（比如1列是房屋英尺，1列是国际单位）
② 算法有很多特征（具体的说，在m小于或等于n的时候，你有m=10个训练样本，但你有n=100个特征数量，你要找到合适的参数向量θ，它是n+1维向量）

一般就从上述两个方面出发来思考矩阵不可逆的情况（拒绝线性相关 or 删除多余特征，或考虑正则化的方法 ）

总结

基本就是这样，浅尝一下吧