回归——岭回归

1、作用

岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。

2、输入输出描述

输入:自变量 X 至少一项或以上的定量变量或二分类定类变量,因变量 Y 要求为定量变量(若为定类变量,请使用逻辑回归)。
输出:模型检验优度的结果,自变量对因变量的线性关系等等。

3、案例示例

通过自变量(房子年龄、是否有电梯、楼层高度、房间平方、房子单价)拟合预测因变量(房价),现在发现房子单价与楼层高度之间有着很强的共线性,VIF值高于20;不能使用常见的最小二乘法OLS回归分析,需要使用岭回归模型

回归——岭回归_第1张图片

4、matlab

 描述:

输入:

输出:

5、建模步骤

岭回归(Ridge Regression)是回归方法的一种,属于统计方法。在机器学习中也称作权重衰减。也有人称之为 Tikhonov 正则化。岭回归主要解决的问题是两种:一是当预测变量的数量超过观测变量的数量的时候(预测变量相当于特征,观测变量相当于标签),二是数据集之间具有多重共线性,即预测变量之间具有相关性。
一般的,回归分析的(矩阵)形式如下:

回归——岭回归_第2张图片

一般情况下,使用最小二乘法求解上述回归问题的目标是最小化如下的式子:

回归——岭回归_第3张图片

岭回归就是要在上述最小化目标中加上一个惩罚项:

这里的λ也是待求参数。也就是说,岭回归是带二范数惩罚的最小二乘回归。

你可能感兴趣的:(数学建模,python,机器学习,回归,算法,人工智能)