吴恩达--机器学习笔记（2022年课程第二周）

当输入的特征变量不止一个时，引入矢量化的概念，构造多元线性回归方程。即：

矢量化的好处：缩短计算时间==》并行运行

多元线性回归模型 运用矢量化进行梯度下降的过程：同步进行，一步到位

对比单输入和多输入时，运用梯度下降得成本函数的最小值，从而求得w,b的方法：
（多元回归的梯度下降）

**正规方程法：使用一个高级线性代数库，无需迭代即可从一个目标中求解w,b，但只可用于线性模型中，且当数据过大时，耗费的时间也会变长。有时用于后端

*特征缩放：可使梯度下降速度变快
~当多个特征值xi各自的大小范围差太远时，需要用特征缩放来获得不同的值范围，并让他们具有可比较的范围
例如x1:[0,200] x2:[0,5] 所以需要w1小，w2大

但这种情况下的等高线长宽比例失调，导致下降可能会来回弹跳，并在很长一段时间后才会找到最低点的路线

因此提出了3种特征缩放的方法==》
1、除以最大值

2、均值归一化

3、Z-score 归一化（正态分布）
~如何确定成本函数J在减小，即梯度下降有用：
画学习曲线or自动收敛测试==》

1、J函数应该在每次迭代后都下降，直到曲线趋于稳定（如迭代次数=300的位置），变化幅度过小，变为收敛状态，此时就可找到局部min值
2、运用自动收敛：设置一极小值，进行比较，看变化幅度是否变得很小，但不好确定得到的是否就是J的mini值
J函数常见曲线错误类型：

以上只要有曲线有上升的部分，都有可能是尔法过大或者出了bug
解决方法：将尔法设置为非常小的数字，观察曲线是否该会呈下降形式，若依旧在增长，则是出bug了

寻找合适尔法：从最小值尔法开始慢慢往上调整，观察曲线轨迹，直到找到只比错误曲线的尔法小一点的正确曲线的尔法，即是符合条件的最大尔法值

*特征工程：通过我们对已有知识的了解，设计新功能，创建新特征。通常通过变换或组合原始特征问题来使学习算法更容易，来做出准确的预测，获得更好的函数模型

*多项式函数新算法（更好拟合数据）：多元线性回归+特征工程的思想—>可以拟合曲线，非线性函数等。如下图：

~当涉及平方立方等幂次时，范围相差太远，需要进行特征缩放。