a02.Andrew-ML02-多特征、线性回归

multiple features

• 定义

一个样本中含有多个特征变量

• 假设函数

gradient descent for multiple variables

图片.png

gradient descent int practice 1

为了使得梯度下降速度更快，让梯度下降收敛所需循环次数更少。 因为θ将会在一个小的范围内下降更快。办法就是修正输入x在一个大致相似的范围。有以下两种方法：

图片.png

• feature scaling(特征缩放)

1. 方法：讲输入变量除以输入变量的范围（最大值减去最小值）

• Mean normalization(均一化)

1. 方法：从输入变量的值中减去输入变量的平均值，再除以输入变量的范围。

图片.png

gradient descent int practice 2

选择合适小的α，在每次迭代过程中应该下降一点；如果一开始就太大，则不会下降，直接上升

图片.png

图片.png

图片.png

features and Polynomial regression（多项式回归）

• 假设函数选择：

也可以将多项式特征转换为一个，例如将x1和x2转换为x3=x1*x2。

假设函数不一定是线性，如果它不能很好的拟合数据，我们可以改变函数的行为，使其成为二次、立方等。

图片.png

注意此时选择这种方法后特征缩放就变得很重要。

图片.png

Multivariate Linear Regression

Normal Equation

图片.png

• 设计矩阵

用于求解θ

m个样本，n个特征值得特征向量的X为m*(n+1)维矩阵，默认第一个特征值x0=1.

图片.png

图片.png

• 梯度下降和normal equation的优缺点

图片.png

对于normal equation,它的复杂度为O(n3).如果特征矩阵特别大，就不适合用于normal equation

• .normal equation noninvertibility

当在octave中实现θ的时候我们使用pinv而不是inv，即使XTX 是不可逆的。

造成不可逆的原因：

1. 冗余特性，两个特征是线性相关的

2. 太多特性，以至于m