回归——线性回归

1、作用

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，在线性回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

2、输入输出描述

输入:自变量 X 至少一项或以上的定量变量或二分类定类变量，因变量 Y 要求为定量变量。
输出:模型检验优度的结果，自变量对因变量的线性关系等等。

3、案例示例

通过自变量（房子年龄、是否有电梯、楼层高度、房间平方）拟合预测因变量（房价）

4、matlab

描述：

输入：Y：因变量，一列向量；X：自变量组成的矩阵，每一列为一个自变量；alpha：显著性水平，缺省时默认0.05

输出：b：回归系数，是个向量，X有几列，对应于就有几个回归系数，回归系数顺序与X列顺序对应；bint：回归系数的区间估计，区间越小精度越高；r：残差；rint：置信区间；stats：用于检验回归模型的统计量。有4个数值：判定系数r^2，统计量观测值F，检验的p的值，误差方差的估计。
其意义和用法如下：r^2的值越接近1，变量的线性相关性越强，说明模型有效；如果满足F，则认为变量与显著地有线性关系。

5、建模步骤

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为 y = w'x+e，e 为误差服从均值为 0 的正态分布。

 一般来说，线性回归都可以通过最小二乘法或梯度下降法求出其方程，可以计算出对于 y=bx+a 的直线。以最小二乘法为例一般地，影响 y 的因素往往不止一个，假设有 x1，x2，...，xk，k 个因素，通常可考虑如下的线性关系式：

 对 y 与 x1，x2，...，xk 同时作 n 次独立观察得 n 组观测值（xt1，xt2，...，xtk），t=1,2,...,n（n>k+1），它们满足关系式：

 其中，互不相关均是与同分布的随机变量。为了用矩阵表示上式，令.

使用最小二乘法得到的解:

 斜率 b 计算方法:

 截距 a: