机器学习第四周-线性回归

一、简单线性回归

在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。一个带有一个自变量的线性回归方程代表一条直线。我们需要对线性回归结果进行统计分析。

线性回归的公式可以表示为

其中 y 是因变量， x是自变量， β0 和 β1 属于起始值和系数，ε 为偏移量，为了使得到的函数模型更加准确，最后会加上偏移量。

最小二乘法（又称最小平方法）

它是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

通过Q最小确定这条直线，即确定β0和β1，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数，函数的极值点为偏导为0的点

二、多元线性回归

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

标准回归方程

以二元线性回归模型为例 ，二元线性回归模型如下：

类似的使用最小二乘法进行参数估计-

�相关软件：SPSS（StatisticalPackage for the Social Science）

社会科学统计软件包是世界著名的统计分析软件之一。20世纪60年代末，美国斯坦福大学的三位研究生研制开发了最早的统计分析软件SPSS，同时成立了SPSS公司，并于1975年在芝加哥组建了SPSS总部。20世纪80年代以前，SPSS统计软件主要应用于企事业单位。1984年SPSS总部首先推出了世界第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，从而确立了个人用户市场第一的地位。同时SPSS公司推行本土化策略，目前已推出9个语种版本。SPSS/PC+的推出，极大地扩充了它的应用范围，使其能很快地应用于自然科学、技术科学、社会科学的各个领域，世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价与称赞。目前已经在国内逐渐流行起来。它使用Windows的窗口方式展示各种管理和分析数据方法的功能，使用对话框展示出各种功能选择项，只要掌握一定的Windows操作技能，粗通统计分析原理，就可以使用该软件为特定的科研工作服务。

t