多变量线性回归（机器学习笔记三）

前言

上一章通过年龄-身高的例子介绍了单变量线性回归算法的实现过程。通过使用向量表示算法中的各个参量，我们可以很容易地将单变量线性回归算法扩展到多变量的情况。这一章主要介绍多变量线性回归算法的实现。与上一章类似，我们仍然通过一个例子来学习多变量线性回归算法。

一、准备

我们使用房价预测的例子来介绍多变量线性回归算法。我们使用的训练集如下图所示：

　　这次，我们认为房屋的价格主要由面积和房间数这两个特征共同决定。因此，我们有两个输入变量：$x_1$和$x_2$，分别代表房屋的面积和房间数，一个输出量$y$代表房屋的价格。我们用$n$来表示特征的个数，显然，这里$n=2$。于是我们的特征向量为$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，输出向量为$\mathbf{y}=\left[\begin{array}{c}y\end{array}\right]$。
　　与上一章类似，我们仍然假设输出与特征之间的函数映射关系$h$为线性函数：$h={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$。因此我们的参数向量为$\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\right]$，为了使输入向量与参数向量对应起来，我们给输入向量增加一个常数项1，变成$\mathbf{x}=\left[\begin{array}{c}1\\ x_1\\ x_2\end{array}\right]$，这样我们就可以继续把假设函数写成$h={\theta }^T\mathbf{x}$。接下来的任务就是寻找最优参数$\theta$了，寻找方法与单变量类似，也是先计算代价函数和对应的偏导数，然后应用梯度下降算法。

二、代价函数和偏导数

多变量线性回归的代价函数仍然定义为所有样本的预测值与实际值的方差之和：
　　　　$J=\frac{1}{2m}\sum _{i=1}^m[h(x^{(i)})-y^{(i)}{]}^2$
　　对应的函数偏导数的为：
　　　　$\frac{\partial J}{\partial {\theta }_0}=\frac{1}{m}\sum _{i=1}^m[h(x^{(i)})-y^{(i)}]$；
　　　　$\frac{\partial J}{\partial {\theta }_{\mathrm{１}}}=\frac{1}{m}\sum _{i=1}^m{x}_1^i[h(x^{(i)})-y^{(i)}]$；
　　　　$\frac{\partial J}{\partial {\theta }_2}=\frac{1}{m}\sum _{i=1}^m{x}_2^i[h(x^{(i)})-y^{(i)}]$；

三、特征归一化

与单变量情况不同，在执行梯度下降之前，我们还需要做一步准备，即特征归一化。
　　由于我们选择了多种特征，而这些特征在数值大小可能会有很大的差异。在本例中，房屋的面积在$10^3$量级，房屋的数量都是小于10的，而在梯度下降算法中，我们对每一个参数都采用相同的更新系数$\alpha$，这就可能导致有的参数收敛得很快，而有的参数收敛得很慢，最终导致整体算法收敛得很慢甚至不能收敛到最小值。
　　为了防止以上问题的出现，我们需要对除了常数项以外的各个特征进行归一化处理：
　　　　$x_j^{(i)}:=[x_j^{(i)}-average(x_j)]/std(x_j)$
　　其中$average(x_j)=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}$代表该特征在所有样本上的平均值，而$std(x_j)$代表该特征在所有样本上的标准差。
　　这样一来，所有的特征都处于-1到1之间，且平均值为0，代价函数在各特征上的收敛速度也会比较接近。

四、梯度下降

完成以上准备工作以后，就可以开始执行梯度下降算法搜寻最优的参数值了。与单变量类似，多变量梯度下降算法的计算过程如下所示：
　　Step1、初始化$\theta$：例如令${\theta }_0={\theta }_1={\theta }_2=\cdots =0$;
　　Step2、计算当前$\theta$值对应的$J$的梯度值：$\frac{\partial J}{\partial {\theta }_0}$，$\frac{\partial J}{\partial {\theta }_1}$，$\frac{\partial J}{\partial {\theta }_2}$$\cdots$；
　　Step3、更新$\theta$：${\theta }_0:={\theta }_0-\alpha \ast \frac{\partial J}{\partial {\theta }_0}$；${\theta }_1:={\theta }_1-\alpha \ast \frac{\partial J}{\partial {\theta }_1}$;${\theta }_2:={\theta }_2-\alpha \ast \frac{\partial J}{\partial {\theta }_2}$;$\cdots$
　　Step4、判断是否结束循环，若为否则回到Step2。

五、Matlab代码实现

下面是实现多变量线性回归算法的Matlab代码：

close all;clear all;clc;

%导入数据
x=load('ex3x.dat');
y=load('ex3y.dat');

%特征归一化
m=length(y);
x=[ones(m,1),x];
sigma=std(x);
ave=mean(x);
x(:,2)=(x(:,2)-ave(2))/sigma(2);
x(:,3)=(x(:,3)-ave(3))/sigma(3);

%参数初始化
alpha=1.0;
step_num=20;
J=zeros(step_num);
theta=zeros(3,1);

%梯度下降算法
for step=1:step_num
    h_y=x*theta-y;
    theta=theta-alpha/m*(x'*h_y);
    J(step)=h_y'*h_y/m/2;
end

%显示代价函数优化过程
plot(log10(J(:)),'-','linewidth',2,'color','b');
axis([1,step_num,-inf,inf])
xlabel('Step\_num');
ylabel('log(J)');
legend(['Alpha=' num2str(alpha)]);

%计算对原始特征的参数
theta(1)=theta(1)-theta(2)*ave(2)/sigma(2)-theta(3)*ave(3)/sigma(3);
theta(2)=theta(2)/sigma(2);
theta(3)=theta(3)/sigma(3);

代码的运行结果如下图所示。

需要注意的是，由于进行了特征归一化处理，我们得到的参数$\theta$是针对归一化以后的特征，如果要得到对原始特征的参数可以通过以下公式计算：
　　　　${\theta }_0^{{}^{\prime }}={\theta }_0-\sum _{i=1}^n\frac{{\theta }_i\ast ave(x_i)}{std(x_i)}$；
　　　　${\theta }_i^{{}^{\prime }}={\theta }_i/std(x_i)$。

六、结语

以上Matlab代码中用到的数据和代码文件可以在从这里下载，提取码gmnw
　　本章介绍了多变量线性回归算法的原理和实现方式，如果我们将其与上一章的单变量线性回归算法进行对比就会发现，两者的实现过程和向量化的函数表达式都是大同小异的。
　　目前为止，我们都假定输出与特征之间是线性关系的，然而，大多数情况下这两者之间是非线性的关系。下一章，我们来学习如何将多变量线性回归进一步扩展到非线性的情况。