机器学习笔记--2、回归分析及python实现

回归分析

文章目录

  • 回归分析
    • 认识回归
      • 什么是回归
      • Sklearn中的回归
      • 回归模型的应用
    • 线性模型(linear model)
      • 获得线性模型
      • 线性模型的基本形式
    • 线性回归
      • 目标函数(单变量)
      • 目标函数(多变量)
      • python实现
        • 数据集划分:
      • 线性回归实例
    • 逻辑回归
      • 对数几率回归/逻辑回归(logistic regression)
      • 逻辑回归实例

认识回归

什么是回归

回归:统计学分析数据的方法,目的在于了解两个或多个变数间是否相关、 研究其相关方向与强度,并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。回归分析可以帮助人们了解在自变量变化时因变量的变化量。
一般来说,通过回归分析我们可以由给出的自变量估计因变量的条件期望。
机器学习笔记--2、回归分析及python实现_第1张图片

Sklearn中的回归

Sklearn提供的回归函数主要被封装在两个子模块中,分别是 sklearn.linear_modelsklearn.preprocessing
sklearn.linear_modlel封装的是一些线性函数
线性回归函数包括有:

  • 普通线性回归函数( LinearRegression )
  • 岭回归(Ridge)
  • Lasso(Lasso)

非线性回归函数,如多项式回归(PolynomialFeatures)则通过 sklearn.preprocessing子模块进行调用

回归模型的应用

回归方法适合对一些带有时序信息的数据进行预测或者趋势拟合,常用在金融及其他涉及时间序列分析的领域:

  • 股票趋势预测
  • 交通流量预测

线性模型(linear model)

线性linear,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动,一阶导数为常数;非线性non-linear则指不按比例、不成直线的关系,代表不规则的运动和突变,一阶导数不为常数。

线性模型试图学得一个通过属性的线性组合来进行预测的函数

获得线性模型

线性模型试图学得一个通过属性的线性组合来进行预测(目标属性)的函数

在这里插入图片描述
从数据集创建线性模型:
在这里插入图片描述
简记为:
在这里插入图片描述

线性模型的基本形式

  • 形式简单,易于建模

  • 蕴含机器学习的基本思想

  • 是其他非线性模型的基础

  • 权重体现出各属性重要性,可解释性强

线性回归

在这里插入图片描述
机器学习笔记--2、回归分析及python实现_第2张图片

均方误差最小化(最小二乘法)

  • 找到一条直线,使所有样本到直线上的欧式距离之和最小

机器学习笔记--2、回归分析及python实现_第3张图片 机器学习笔记--2、回归分析及python实现_第4张图片

目标函数(单变量)

令目标函数对 Wb 的偏导为零可解得:

机器学习笔记--2、回归分析及python实现_第5张图片
在这里插入图片描述

目标函数(多变量)

在这里插入图片描述

机器学习笔记--2、回归分析及python实现_第6张图片
在这里插入图片描述

python实现

sklearn.linear_model中的LinearRegression可实现线性回归

LinearRegression 的构造方法:

LinearRegression(

fit_intercept=True, #默认值为 True,表示 计算随机变量,False 表示不计算随机变量

normalize=False, #默认值为 False,表示在回归前是否对回归因子X进行归一化True 表示是 ,

copy_X=True

)

数据集划分:

  • sklearn.model_selection随机划分训练集和测试集

  • train_test_split是交叉验证中常用的函数,功能是从样本中随机的按比例选取train data和testdata,形式为:

X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

train_test_split参数解释:

  • train_data:所要划分的样本特征集

  • train_target:所要划分的样本结果

  • test_size:样本占比,如果是整数的话就是样本的数量

  • random_state:是随机数的种子。

• 随机数种子:其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。

• 随机数的产生取决于种子,随机数和种子之间的关系遵从以下两个规则:

• 种子不同,产生不同的随机数;种子相同,即使实例不同也产生相同的随机数。

LinearRegression 的常用方法有:

  • decision_function(X) #返回 X 的预测值 y

  • fit(X,y[,n_jobs]) #拟合模型

  • get_params([deep]) #获取 LinearRegression 构造方法的参数信息

  • predict(X) #求预测值 #同 decision_function

线性回归实例

以鸢尾花数据为例:

  1. 导入相关库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 用于线性回归的类
from sklearn.linear_model import LinearRegression
# 用于切分训练集与测试集
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
# 设置输出精度,默认为8
np.set_printoptions(precision=3)
  1. 获取数据
iris = load_iris()
# 获取花瓣长度为X,花瓣宽度为y
X, y = iris.data[:, 2].reshape(-1, 1), iris.data[:, 3]
  1. 使用线性回归模型进行训练
lr = LinearRegression()
# 将数据划分为数据集与测试集
# test_size:测试集大小
# random_state:随机种子,用来产生相同的随机数系列
X_train, X_test, y_train, y_test = train_test_split(X,
                                                    y,
                                                    test_size=0.25,
                                                    random_state=0)
# 使用训练集,训练模型
lr.fit(X_train, y_train)
print("权重:", lr.coef_)
print("截距:", lr.intercept_)
# 从训练集学习到的模型参数(W与b),确定方程,就可以进行预测
y_hat = lr.predict(X_test)
print("实际值:", y_test[:5])
print("预测值:", y_hat[:5])

机器学习笔记--2、回归分析及python实现_第7张图片

利用模型进行预测

y1_hat = lr.predict(X)
  1. 结果可视化
# 绘图
plt.style.use("seaborn-darkgrid")
plt.rcParams["font.family"] = "SimHei"
plt.rcParams["axes.unicode_minus"] = False
plt.rcParams["font.size"] = 12

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, marker="+", label="训练集")
plt.scatter(X_test, y_test, marker="*", label="测试集")
plt.plot(X, lr.predict(X), 'c-.')
plt.legend()
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")

机器学习笔记--2、回归分析及python实现_第8张图片

# 对比
plt.figure(figsize=(15,6))
plt.plot(y_test,label="真实值",color="indianred", marker="o")
plt.plot(y_hat,label="预测值",color="c", marker="o")
plt.xlabel("测试集数据序列")
plt.ylabel("数据值")
plt.legend()

机器学习笔记--2、回归分析及python实现_第9张图片

逻辑回归

  • 分类和回归二者不存在不可逾越的鸿沟。

  • 准确地说,逻辑回归(Logistic Regression)是对数几率回归,属于广义线性模型(GLM),它的因变量一般只有0或1.

  • 线性回归并没有对数据的分布进行任何假设,而逻辑回归隐含了一个基本假设 :每个样本均独立服从于伯努利分布(0-1分布)

  • 伯努利分布属于指数分布族,这个大家庭还包括:高斯(正态)分布、多项式分布、泊松分布、伽马分布、Dirichlet分布等。

对数几率回归/逻辑回归(logistic regression)

  • 对数线性回归
    在这里插入图片描述

  • 将线性回归模型的预测值和实际值关联起来
    机器学习笔记--2、回归分析及python实现_第10张图片
    机器学习笔记--2、回归分析及python实现_第11张图片

  • 一般的形式:广义线性模型

在这里插入图片描述
称为联系函数
在这里插入图片描述

机器学习笔记--2、回归分析及python实现_第12张图片

  • 二分类问题的理想联系函数:单位阶跃函数

机器学习笔记--2、回归分析及python实现_第13张图片

  • 阶跃函数的代替函数:Sigmoid函数
    在这里插入图片描述
    机器学习笔记--2、回归分析及python实现_第14张图片

  • 带入线性模型可得
    在这里插入图片描述
    在这里插入图片描述

  • 几率,表示样本取正例的可能性比例:
    在这里插入图片描述

  • 对数几率
    在这里插入图片描述

  • 目标:寻找合适的 Wb ,使函数输出逼近真实类别

将y视为类别取值为1或0的概率,可得:

机器学习笔记--2、回归分析及python实现_第15张图片

目标函数求解方法:梯度下降法、牛顿法

在这里插入图片描述

model = LogisticRegression(max_iter=500,solver='newton-cg').fit(tr_in,tr_out)

model_res = model.predict(te_in)

逻辑回归实例

以鸢尾花为例:

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
import warnings

warnings.filterwarnings("ignore")

iris = load_iris()
X, y = iris.data, iris.target
# 因为鸢尾花具有三个类别,4个特征,此处仅使用其中两个特征,并且移除一个类别(类别0)。
X = X[y != 0, 2:]
y = y[y != 0]
# 此时,y的标签为1与2,我们这里将其改成0与1。(仅仅是为了习惯而已)
y[y == 1] = 0
y[y == 2] = 1
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)
lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
print("权重:", lr.coef_)
print("偏置:", lr.intercept_)
print("真实值:", y_test)
print("预测值:", y_hat)

机器学习笔记--2、回归分析及python实现_第16张图片
可视化结果:

c1 = X[y == 0]
c2 = X[y == 1]
plt.scatter(x=c1[:, 0], y=c1[:, 1], c="g", label="类别0")
plt.scatter(x=c2[:, 0], y=c2[:, 1], c="r", label="类别1")
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")
plt.title("鸢尾花样本分布")
plt.legend()

机器学习笔记--2、回归分析及python实现_第17张图片

plt.figure(figsize=(15, 5))
plt.plot(y_test, marker="o", ls="", ms=15, c="r", label="真实类别")
plt.plot(y_hat, marker="X", ls="", ms=15, c="g", label="预测类别")
plt.legend(loc="center")
plt.xlabel("样本序号")
plt.ylabel("类别")
plt.title("逻辑回归分类预测结果")
plt.show()

机器学习笔记--2、回归分析及python实现_第18张图片
获取预测的概率值,包含数据属于每个类别的概率

# 获取预测的概率值,包含数据属于每个类别的概率。
probability = lr.predict_proba(X_test)
display(probability[:5])
display(np.argmax(probability, axis=1))
# 产生序号,用于可视化的横坐标。
index = np.arange(len(X_test))
pro_0 = probability[:, 0]
pro_1 = probability[:, 1]
tick_label = np.where(y_test == y_hat, "O", "X")
plt.figure(figsize=(15, 5))
# 绘制堆叠图
plt.bar(index, height=pro_0, color="g", label="类别0概率值")
# bottom=x,表示从x的值开始堆叠上去。
# tick_label 设置标签刻度的文本内容。
plt.bar(index, height=pro_1, color='r', bottom=pro_0, label="类别1概率值", tick_label=tick_label)
plt.legend(loc="best", bbox_to_anchor=(1, 1))
plt.xlabel("样本序号")
plt.ylabel("各个类别的概率")
plt.title("逻辑回归分类概率")
plt.show()

机器学习笔记--2、回归分析及python实现_第19张图片
多分类结果可视化(代码略)
在训练集上:
机器学习笔记--2、回归分析及python实现_第20张图片

在测试集上:
机器学习笔记--2、回归分析及python实现_第21张图片

全部代码我将放在GitHub上,需要的小朋友们可自行下载:GitHub

前文回顾:
机器学习笔记 – 1、认识机器学习

你可能感兴趣的:(机器学习,python,机器学习,python,人工智能)