[机器学习]多元线性回归(Multivariate Linear Regression)

线性回归(Linear Regression)是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为$y={\omega }^{T}x+e$，$e$为误差服从均值为0的正态分布。

线性回归模型
$$h_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$ 代价函数
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

求解方法

• 梯度下降法(Gradient Descent)
  通过迭代
  $${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$$确定参数${\theta }_1,{\theta }_2,...{\theta }_n$
  为了提高效率，可以通过标准化(Normalization)，将所有的数据映射到$[-1,1]$的区间上。对于迭代过程中的参数$\alpha$，又称学习率(Learning rate)，若选取过小，会导致收敛速度太慢；若选取过大，会导致无法收敛。

• 正规方程法(Normal equation)
  直接利用公式
  $$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$确定参数${\theta }_1,{\theta }_2,...{\theta }_n$

两种方法的对比：

梯度下降法(Gradient Descent)	正规方程法(Normal equation)
需要选取参数 $\alpha$	不需要选取参数 $\alpha$
需要多次迭代	不需要多次迭代
适用于当$n$很大的情况	适用于$n$较小的情况

对于多项式回归(Polynomial Regression)，化为多元线性回归(Multivariate Linear Regression)即可。