机器学习笔记--2、回归分析及python实现

回归分析

认识回归

什么是回归

回归：统计学分析数据的方法，目的在于了解两个或多个变数间是否相关、 研究其相关方向与强度，并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。回归分析可以帮助人们了解在自变量变化时因变量的变化量。
一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望。

Sklearn中的回归

Sklearn提供的回归函数主要被封装在两个子模块中，分别是 sklearn.linear_model和sklearn.preprocessing。
sklearn.linear_modlel封装的是一些线性函数
线性回归函数包括有：

• 普通线性回归函数（ LinearRegression ）
• 岭回归（Ridge）
• Lasso（Lasso）

非线性回归函数，如多项式回归（PolynomialFeatures）则通过 sklearn.preprocessing子模块进行调用

回归模型的应用

回归方法适合对一些带有时序信息的数据进行预测或者趋势拟合，常用在金融及其他涉及时间序列分析的领域：

• 股票趋势预测
• 交通流量预测

线性模型（linear model）

线性linear，指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动，一阶导数为常数；非线性non-linear则指不按比例、不成直线的关系，代表不规则的运动和突变，一阶导数不为常数。

线性模型试图学得一个通过属性的线性组合来进行预测的函数

获得线性模型

线性模型试图学得一个通过属性的线性组合来进行预测（目标属性）的函数

从数据集创建线性模型：

简记为：

线性模型的基本形式

• 形式简单，易于建模

• 蕴含机器学习的基本思想

• 是其他非线性模型的基础

• 权重体现出各属性重要性，可解释性强

线性回归

均方误差最小化(最小二乘法)

• 找到一条直线，使所有样本到直线上的欧式距离之和最小

目标函数（单变量）

令目标函数对 W 和 b 的偏导为零可解得：

目标函数（多变量）

python实现

sklearn.linear_model中的LinearRegression可实现线性回归

LinearRegression 的构造方法：

LinearRegression(

fit_intercept=True, #默认值为 True，表示 计算随机变量，False 表示不计算随机变量

normalize=False, #默认值为 False，表示在回归前是否对回归因子X进行归一化True 表示是 ,

copy_X=True

)

数据集划分：

• sklearn.model_selection随机划分训练集和测试集

• train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：

X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

train_test_split参数解释：

• train_data：所要划分的样本特征集

• train_target：所要划分的样本结果

• test_size：样本占比，如果是整数的话就是样本的数量

• random_state：是随机数的种子。

• 随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

• 随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：

• 种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

LinearRegression 的常用方法有：

• decision_function(X) #返回 X 的预测值 y

• fit(X,y[,n_jobs]) #拟合模型

• get_params([deep]) #获取 LinearRegression 构造方法的参数信息

• predict(X) #求预测值 #同 decision_function

线性回归实例

以鸢尾花数据为例：

1. 导入相关库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 用于线性回归的类
from sklearn.linear_model import LinearRegression
# 用于切分训练集与测试集
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
# 设置输出精度，默认为8
np.set_printoptions(precision=3)

2. 获取数据

iris = load_iris()
# 获取花瓣长度为X，花瓣宽度为y
X, y = iris.data[:, 2].reshape(-1, 1), iris.data[:, 3]

3. 使用线性回归模型进行训练

lr = LinearRegression()
# 将数据划分为数据集与测试集
# test_size:测试集大小
# random_state：随机种子，用来产生相同的随机数系列
X_train, X_test, y_train, y_test = train_test_split(X,
                                                    y,
                                                    test_size=0.25,
                                                    random_state=0)
# 使用训练集，训练模型
lr.fit(X_train, y_train)
print("权重：", lr.coef_)
print("截距：", lr.intercept_)
# 从训练集学习到的模型参数（W与b），确定方程，就可以进行预测
y_hat = lr.predict(X_test)
print("实际值：", y_test[:5])
print("预测值：", y_hat[:5])

利用模型进行预测

y1_hat = lr.predict(X)

5. 结果可视化

# 绘图
plt.style.use("seaborn-darkgrid")
plt.rcParams["font.family"] = "SimHei"
plt.rcParams["axes.unicode_minus"] = False
plt.rcParams["font.size"] = 12

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, marker="+", label="训练集")
plt.scatter(X_test, y_test, marker="*", label="测试集")
plt.plot(X, lr.predict(X), 'c-.')
plt.legend()
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")

# 对比
plt.figure(figsize=(15,6))
plt.plot(y_test,label="真实值",color="indianred", marker="o")
plt.plot(y_hat,label="预测值",color="c", marker="o")
plt.xlabel("测试集数据序列")
plt.ylabel("数据值")
plt.legend()

逻辑回归

• 分类和回归二者不存在不可逾越的鸿沟。

• 准确地说，逻辑回归（Logistic Regression）是对数几率回归，属于广义线性模型（GLM），它的因变量一般只有0或1.

• 线性回归并没有对数据的分布进行任何假设，而逻辑回归隐含了一个基本假设 ：每个样本均独立服从于伯努利分布（0-1分布）。

• 伯努利分布属于指数分布族，这个大家庭还包括：高斯（正态）分布、多项式分布、泊松分布、伽马分布、Dirichlet分布等。

对数几率回归／逻辑回归（logistic regression）

• 对数线性回归
  

• 将线性回归模型的预测值和实际值关联起来
  
  

• 一般的形式：广义线性模型

称为联系函数

• 二分类问题的理想联系函数：单位阶跃函数

• 阶跃函数的代替函数：Sigmoid函数
  
  

• 带入线性模型可得
  
  

• 几率，表示样本取正例的可能性比例：
  

• 对数几率：
  

• 目标：寻找合适的 W 和 b ，使函数输出逼近真实类别

将y视为类别取值为1或0的概率，可得：

目标函数求解方法：梯度下降法、牛顿法

model = LogisticRegression(max_iter=500,solver='newton-cg').fit(tr_in,tr_out)

model_res = model.predict(te_in)

逻辑回归实例

以鸢尾花为例：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
import warnings

warnings.filterwarnings("ignore")

iris = load_iris()
X, y = iris.data, iris.target
# 因为鸢尾花具有三个类别，4个特征，此处仅使用其中两个特征，并且移除一个类别（类别0）。
X = X[y != 0, 2:]
y = y[y != 0]
# 此时，y的标签为1与2，我们这里将其改成0与1。（仅仅是为了习惯而已）
y[y == 1] = 0
y[y == 2] = 1
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)
lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
print("权重：", lr.coef_)
print("偏置：", lr.intercept_)
print("真实值：", y_test)
print("预测值：", y_hat)

可视化结果：

c1 = X[y == 0]
c2 = X[y == 1]
plt.scatter(x=c1[:, 0], y=c1[:, 1], c="g", label="类别0")
plt.scatter(x=c2[:, 0], y=c2[:, 1], c="r", label="类别1")
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")
plt.title("鸢尾花样本分布")
plt.legend()

plt.figure(figsize=(15, 5))
plt.plot(y_test, marker="o", ls="", ms=15, c="r", label="真实类别")
plt.plot(y_hat, marker="X", ls="", ms=15, c="g", label="预测类别")
plt.legend(loc="center")
plt.xlabel("样本序号")
plt.ylabel("类别")
plt.title("逻辑回归分类预测结果")
plt.show()

获取预测的概率值，包含数据属于每个类别的概率

# 获取预测的概率值，包含数据属于每个类别的概率。
probability = lr.predict_proba(X_test)
display(probability[:5])
display(np.argmax(probability, axis=1))
# 产生序号，用于可视化的横坐标。
index = np.arange(len(X_test))
pro_0 = probability[:, 0]
pro_1 = probability[:, 1]
tick_label = np.where(y_test == y_hat, "O", "X")
plt.figure(figsize=(15, 5))
# 绘制堆叠图
plt.bar(index, height=pro_0, color="g", label="类别0概率值")
# bottom=x，表示从x的值开始堆叠上去。
# tick_label 设置标签刻度的文本内容。
plt.bar(index, height=pro_1, color='r', bottom=pro_0, label="类别1概率值", tick_label=tick_label)
plt.legend(loc="best", bbox_to_anchor=(1, 1))
plt.xlabel("样本序号")
plt.ylabel("各个类别的概率")
plt.title("逻辑回归分类概率")
plt.show()

多分类结果可视化（代码略）
在训练集上：

在测试集上：

全部代码我将放在GitHub上，需要的小朋友们可自行下载：GitHub

前文回顾：
机器学习笔记 – 1、认识机器学习