机器学习—多变量线性回归

多变量线性回归

往期内容

单变量线性回归

案例

波士顿房价预测：对房价模型增加更多的特征，如房间数目、楼层数、房屋的使用年龄，如下表

size($fee{t}^2$)	bedrooms_num	floors_num	home age	price
2014	5	1	45	460
1416	3	2	40	232
…	…	…	…	…

模型表示

$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
可以简化成：
$$h_{\theta }(x)={\Theta }^{T}X$$

• n代表特征数量
• $x^{(i)}$代表第i个训练实例，即特征矩阵的第i行，是一个向量，如$x^{(2)}$：
  $$x^{(2)}=\left[\begin{array}{c}1416\\ 3\\ 2\\ 40\end{array}\right]$$
• $x_j^{(i)}$代表第i个实例的第j个特征，如$x_3^{(2)}$=3；$x_3^{(3)}$=2；
• X为特征矩阵，维度是：m*(n+1)

代价函数

$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

梯度下降

$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})\cdot x_0^{(i)})$$$${\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})\cdot x_1^{(i)})$$ $$...$$ $${\theta }_n:={\theta }_n-\alpha \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})\cdot x_n^{(i)})$$
其中：$x_0^{(i)}=1$；学习率$\alpha$通常取0.001-1之间的值。

特征缩放

以房价问题为例：房屋尺寸和房间数量是两个尺度相差较大的特征。以两个参数绘制代价函数等高线图时，会得到一个很扁的图，梯度下降算法需要多次迭代才能收敛。对于多维特征问题，需要保证这些特征都具有相近的尺寸，具体解决方法是，将所有特征的尺度都尽量缩放到-1到1之间。
常用的特征缩放方法${}^{[1]}$有：

1. 最大最小值归一化
   $$x^{\prime }=\frac{x-min(x)}{max(x)-min(x)}$$
2. 均值归一化
   $$x^{\prime }=\frac{x-average(x)}{max(x)-min(x)}$$
3. 标准化
   $$x^{\prime }=\frac{x-\bar{x}}{\sigma }$$
4. 最大绝对值归一化
   $$x^{\prime }=\frac{x}{||max(x)||}$$

参考

[1]：特征缩放（Feature Scaling）