分类与预测——回归分析

分类与预测—回归分析

一、回归分析

• 回归分析：是一种通过建立模型来研究变量之间相互关系的一切关系、结构状态及进行模型预测的有效工具。
• 常见的回归方法：线性回归、非线性回归、逻辑斯蒂回归、岭回归、主成分回归。
• 回归分析通常所预测的目标函数是连续值。

线性回归

例：一元线性回归：某产品电视广告投入x(以百万元为单位)与产品销售量y(以亿个为单位)的数据。

Y = 0.049693x + 6.7784

x=100，y=1174.8

给定由m个属性描述的样本x=（x₁；x₂；…；x_m），其中x_i是x在第i个属性上的取值，线性回归（linear regression）试图学得一个通过属性值的线性组合来进行预测的函数∶
$$f(x)=w_1{x}_1＋w_2{x}_2＋...+w_m{x}_m＋b$$
一般用向量的形式写成∶
$$f(x)=w^T+b$$
其中w=（w₁;w₂;…;w_m）。

给定训练数D={（x₁，y₁）,（x₂，y₂），…，（x_i，y_i），…，（x_n，y_n）}其中xi=（x_i1；x_i2；…；x_im），y_i∈R

可用最小二乘法（least square method）对w 和b进行估计。

下面以一元线性回归为例，来详细讲解w和b的最小二乘法估计
$$f（x_i）=w{x}_i＋b，使得f（x_i）\simeq y_i$$
最小二乘法就是基于预测值和真实值的均方差最小化的方法来估计参数w和b∶
$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^n{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^n{\left(y_i-w{x}_i-b\right)}^2\end{array}$$
最小化均方误差
$$E_{(w,b)}=\sum _{i=1}^n(y_i-w{x}_i-b{)}^2$$
分别对$w$和$b$求偏导，可得
$$\begin{gathered} \frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n(y_i-b)x_i) \\ \frac{\partial E_{(w,b)}}{\partial b}=2(nb-\sum _{i=1}^n(y_i-w{x}_i)) \end{gathered}$$
令上两式为零可得到$w$和$b$ 最优解的闭式(closed-form)解：
$$\begin{gathered} w=\frac{{\sum }_{i=1}^n{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^n{x}_i^2-\frac{1}{n}({\sum }_{i=1}^n{x}_i{)}^2} \\ b=\frac{1}{n}\sum _{i=1}^n(y_i-w{x}_i) \end{gathered}$$
其中，$\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$

只要学到w和b，模型就可以确定；对于任意的测试样例 $x$，只要输入它的属性值，就可以输出它的预测值。

线性回归假定输入空间到输出空间的函数映射成线性关系，但现实应用中，很多问题都是非线性的。为拓展其应用场景，我们可以将线性回归的预测值做一个非线性的函数变化去逼近真实值，这样得到的模型统称为广义线性回归（generalized linear regression):
$$y=g(w^{T}x+b)$$
其中g（·）称为联系函数（link function）。

理论上，联系函数g（·）可以是任意函数，比如当g（·）被指定为指数函数时，得到的回归模型称为对数线性回归
$$y=e^{w^{T}x+b}$$
之所以叫对数线性回归，是因为它将真实值的对数作为线性回归逼近的目标，即∶
$$lny=w^{T}x+b$$

逻辑斯蒂回归

前面的内容都是在讲解如何利用线性模型进行回归学习，完成回归任务。但如果我们要做的是分类任务该怎么办？

为了简化，我们先考虑二分类任务，其输出标记 y∈ {0,1}，但线性回归模型产生的预测值$z=w^Tx+b $是实值，因此，我们需将实值$z$转换为0/1值。最容易想到的联系函数g（·）当然是单位阶跃函数∶
$$y=\{\begin{array}{llcc}& 0,& z<0;& \mathbf{如果预测值大于零就判为正例}\\ & 0.5,& z=0;& \mathbf{小于零就判为反例}\\ & 1,& z>0;& \mathbf{预测值为临界值零则可任意判别}\end{array}$$
但单位阶跃函数不连续，因此不能直接用作联系函数g（·）。于是我们希望找到能在一定程度上近似单位阶跃函数的替代函数，并希望它在临界点连续且单调可微。逻辑斯蒂函数（logistic function）正是这样一个常用的替代函数∶
$$\begin{gathered} y=\frac{1}{1+e^{-z}} \\ y=\frac{1}{1+e^{-(w^{T}x+b)}} \end{gathered}$$

逻辑斯蒂（logistic function）函数形似s，是Sigmoid函数的典型代表，它将z值转化为一个接近0或1的y 值，并且其输出值在z=0附近变化很陡。

其对应的模型称为逻辑斯蒂回归（logistic regression）。需要特别说明的是，虽然它的名字是“回归”，但实际上却是一种分类学习方法。

逻辑斯蒂回归有很多优点∶

• 1）可以直接对分类可能性进行预测，将$y$视为样本$x$作为正例的概率；
• 2）无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；
• 3）是任意阶可导的凸函数，可直接应用现有数值优化算法求取最优解。

将 $y$ 视为样本x属于正例的概率 $p(y=1|x)$，根据逻辑斯蒂函数很容易得到∶
$$\begin{gathered} y=\frac{1}{1+e^{-(w^{T}x+b)}} \\ \to p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}} \\ \to p(y=1|x)=\frac{1}{1+e^{w^{T}x+b}} \end{gathered}$$
给定训练数据集$\{(x_i,y_i){\}}_{i=1}^n$，可通过"极大似然法"（maximum likelihood method）来估计w和b，即最大化样本属于其真实标记的概率（对数似然）∶
$$\ell (\mathbf{w},b)=\sum _{i=1}^n\ln p\left(y_i\mid {\mathbf{x}}_i;\mathbf{w},b\right)$$
逻辑斯蒂回归中的因变量只有1和0（可理解为是/否、发生/不发生等）两种取值。

假设在$p$个独立自变量 $x1，x2，\dots ，xp$ 的作用下，记y取1的概率为p=P（y=1|X），y取0的概率是1-p，取1和取0的概率之比为$\frac{p}{1-p}$，成为事件的优势比，对这个优势比取对数，也就是进行logistics变化，得到 $logit(p)=ln(\frac{p}{1-p})$。

令$logit(p)=ln(\frac{p}{1-p})=z$，则$p=\frac{1}{1+e^{-z}}$即为逻辑斯蒂函数。

建模步骤：

① 根据分析目的设置指标变量（因变量和自变量），然后收集数据，根据收集到的数据对特征再次进行筛选。

② y取1的概率是p=P（y=1|X），取0的概率是1-p。用$ln(\frac{p}{1-p})$和自变量列出线性回归方程，估计出模型中的回归系数。

③ 进行模型检验。模型有效性的检验指标有很多，最基本的是正确率，其次是混淆矩阵、roc曲线，ks值等。

④ 模型应用。输入自变量的取值就可以得到预测变量的值，或者根据预测变量的值去控制自变量的取值。

例题，某银行对降低贷款拖欠率的数据进行个逻辑斯的回归建模。

代码实现：

import pandas as pd
from sklearn.linear_model import LogisticRegression as LR

# 参数初始化
filename = './bankloan.xls'
data = pd.read_excel(filename)

x = data.iloc[:, :8].values
y = data.iloc[:, 8].values

lr = LR()  # 建立逻辑回归模型
lr.fit(x, y)  # 用筛选后的特征数据来训练模型
print('模型的平均准确度为：%s' % lr.score(x, y))