【数学之美】——回归分析总结

一、前言

       1、“回归”的由来

      回归，最初是遗传学中的一个名词，是由生物学家兼统计学家高尔顿首先提出来的。他在研究人类的身高时，发现高个子回归于人口的平均身高，而矮个子则从另一个方向回归于人口的平均身高。

       参考文章：https://blog.csdn.net/denghecsdn/article/details/77334160

       2、回归分析的概念

       回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。通过这种方法可以确定，许多领域中各个因素（数据）之间的关系，从而可以通过其用来预测，分析数据。

      3、回归和拟合的区别

         拟合的概念更广泛，拟合包含回归，还包含插值和逼近。拟合是一种数据处理的方式,不特指哪种方法.简单的说就是你有一组数据,觉得这组数据和一个已知的函数（这个函数的参数未定）很相似,为了得到最能表示这组数据特征的这个函数,通过拟合这种方式（具体的数学方法很多）求得参数.而回归是一种特定的数学方法,它可以实现数据拟合,得到函数的参数.也有些拟合得到的参数并非是函数的参数,如神经网络,得到的是这个神经网络的参数。

二、回归算法

         有各种各样的回归技术用于预测。这些技术主要有三个度量（自变量的个数，因变量的类型以及回归线的形状）。

        1、Linear Regression线性回归

        它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。用一个方程式来表示它，即Y=a+b*X+e，其中a表示截距，b表示直线的斜率，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。一元线性回归和多元线性回归的区别在于，多元线性回归有（>1）个自变量，而一元线性回归通常只有1个自变量。

          参考文章：https://www.cnblogs.com/Belter/p/8487002.html

          视频讲解：https://www.bilibili.com/video/av37823773

---

         2、Logistic Regression逻辑回归

       在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logistic regression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题，因为它是针对于分类的可能性进行建模的，所以它不仅能预测出类别，还可以得到属于该类别的概率。除此之外，sigmoid函数它是任意阶可导的凸函数。
        参考文章1：https://www.jianshu.com/p/b2714426c971

       参考文章2：https://blog.csdn.net/zouxy09/article/details/20319673

       视频讲解：https://www.bilibili.com/video/av37329385/?p=1

---

      3、Polynomial Regression多项式回归

       在上一篇的一般线性回归中，使用的假设函数是一元一次方程，也就是二维平面上的一条直线。但是很多时候可能会遇到直线方程无法很好的拟合数据的情况，这个时候可以尝试使用多项式回归。多项式回归中，加入了特征的更高次方（例如平方项或立方项），也相当于增加了模型的自由度，用来捕获数据中非线性的变化。添加高阶项的时候，也增加了模型的复杂度。随着模型复杂度的升高，模型的容量以及拟合数据的能力增加，可以进一步降低训练误差，但导致过拟合的风险也随之增加。       

       参考文章：https://www.cnblogs.com/Belter/p/8530222.html

       视频讲解：https://www.bilibili.com/video/av38663814

---

       4、岭回归与Lasso回归

        使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做正则化项（regularizer）。在线性回归模型中，通常有两种不同的正则化项：

      1）加上所有参数（不包括θ0）的绝对值之和，即l1范数，此时叫做Lasso回归；
      2）加上所有参数（不包括θ0）的平方和，即l2范数，此时叫做岭回归.
      参考文章：https://www.cnblogs.com/Belter/p/8536939.html 

---

     5、ElasticNet回归

        ElasticNet是Lasso和Ridge（岭）回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso 会随机挑选他们其中的一个，而ElasticNet则会选择两个。

 

三、回归分析步骤

1. 根据自变量与因变量的现有数据以及关系，初步设定回归方程
2. 求出合理的回归系数
3. 进行相关性检验，确定相关系数
4. 在符合相关性要求后，即可根据已得的回归方程与具体条件相结合，来确定事物的未来状况，并计算预测值的置信区间