机器学习笔记--2、回归分析及python实现
回归分析
文章目录
- 回归分析
-
- 认识回归
-
- 什么是回归
- Sklearn中的回归
- 回归模型的应用
- 线性模型（linear model）
-
- 获得线性模型
- 线性模型的基本形式
- 线性回归
-
- 目标函数（单变量）
- 目标函数（多变量）
- python实现
-
- 数据集划分：
- 线性回归实例
- 逻辑回归
-
- 对数几率回归／逻辑回归（logistic regression）
- 逻辑回归实例
认识回归
什么是回归
回归：统计学分析数据的方法，目的在于了解两个或多个变数间是否相关、 研究其相关方向与强度，并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。回归分析可以帮助人们了解在自变量变化时因变量的变化量。
一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望。
Sklearn中的回归
Sklearn提供的回归函数主要被封装在两个子模块中，分别是 sklearn.linear_model和sklearn.preprocessing。
sklearn.linear_modlel封装的是一些线性函数
线性回归函数包括有：
- 普通线性回归函数（ LinearRegression ）
- 岭回归（Ridge）
- Lasso（Lasso）
非线性回归函数，如多项式回归（PolynomialFeatures）则通过 sklearn.preprocessing子模块进行调用
回归模型的应用
回归方法适合对一些带有时序信息的数据进行预测或者趋势拟合，常用在金融及其他涉及时间序列分析的领域：
- 股票趋势预测
- 交通流量预测
线性模型（linear model）
线性linear，指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动，一阶导数为常数；非线性non-linear则指不按比例、不成直线的关系，代表不规则的运动和突变，一阶导数不为常数。
线性模型试图学得一个通过属性的线性组合来进行预测的函数
获得线性模型
线性模型试图学得一个通过属性的线性组合来进行预测（目标属性）的函数
从数据集创建线性模型：
简记为：
线性模型的基本形式
-
形式简单，易于建模
-
蕴含机器学习的基本思想
-
是其他非线性模型的基础
-
权重体现出各属性重要性，可解释性强
线性回归
均方误差最小化(最小二乘法)
- 找到一条直线，使所有样本到直线上的欧式距离之和最小
目标函数（单变量）
令目标函数对 W 和 b 的偏导为零可解得：
目标函数（多变量）
python实现
sklearn.linear_model中的LinearRegression可实现线性回归
LinearRegression 的构造方法：
LinearRegression(
fit_intercept=True, #默认值为 True，表示 计算随机变量，False 表示不计算随机变量
normalize=False, #默认值为 False，表示在回归前是否对回归因子X进行归一化True 表示是 ,
copy_X=True
)
数据集划分：
-
sklearn.model_selection随机划分训练集和测试集
-
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：
X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)train_test_split参数解释：
-
train_data：所要划分的样本特征集
-
train_target：所要划分的样本结果
-
test_size：样本占比，如果是整数的话就是样本的数量
-
random_state：是随机数的种子。
• 随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。
• 随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：
• 种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。
LinearRegression 的常用方法有：
-
decision_function(X) #返回 X 的预测值 y
-
fit(X,y[,n_jobs]) #拟合模型
-
get_params([deep]) #获取 LinearRegression 构造方法的参数信息
-
predict(X) #求预测值 #同 decision_function
线性回归实例
以鸢尾花数据为例：
- 导入相关库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 用于线性回归的类
from sklearn.linear_model import LinearRegression
# 用于切分训练集与测试集
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
# 设置输出精度，默认为8
np.set_printoptions(precision=3)
- 获取数据
iris = load_iris()
# 获取花瓣长度为X，花瓣宽度为y
X, y = iris.data[:, 2].reshape(-1, 1), iris.data[:, 3]- 使用线性回归模型进行训练
lr = LinearRegression()
# 将数据划分为数据集与测试集
# test_size:测试集大小
# random_state：随机种子，用来产生相同的随机数系列
X_train, X_test, y_train, y_test = train_test_split(X,
y,
test_size=0.25,
random_state=0)
# 使用训练集，训练模型
lr.fit(X_train, y_train)
print("权重：", lr.coef_)
print("截距：", lr.intercept_)
# 从训练集学习到的模型参数（W与b），确定方程，就可以进行预测
y_hat = lr.predict(X_test)
print("实际值：", y_test[:5])
print("预测值：", y_hat[:5])
利用模型进行预测
y1_hat = lr.predict(X)- 结果可视化
# 绘图
plt.style.use("seaborn-darkgrid")
plt.rcParams["font.family"] = "SimHei"
plt.rcParams["axes.unicode_minus"] = False
plt.rcParams["font.size"] = 12
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, marker="+", label="训练集")
plt.scatter(X_test, y_test, marker="*", label="测试集")
plt.plot(X, lr.predict(X), 'c-.')
plt.legend()
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")
# 对比
plt.figure(figsize=(15,6))
plt.plot(y_test,label="真实值",color="indianred", marker="o")
plt.plot(y_hat,label="预测值",color="c", marker="o")
plt.xlabel("测试集数据序列")
plt.ylabel("数据值")
plt.legend()
逻辑回归
-
分类和回归二者不存在不可逾越的鸿沟。
-
准确地说，逻辑回归（Logistic Regression）是对数几率回归，属于广义线性模型（GLM），它的因变量一般只有0或1.
-
线性回归并没有对数据的分布进行任何假设，而逻辑回归隐含了一个基本假设 ：每个样本均独立服从于伯努利分布（0-1分布）。
-
伯努利分布属于指数分布族，这个大家庭还包括：高斯（正态）分布、多项式分布、泊松分布、伽马分布、Dirichlet分布等。
对数几率回归／逻辑回归（logistic regression）
-
对数线性回归
-
将线性回归模型的预测值和实际值关联起来
-
一般的形式：广义线性模型
称为联系函数
- 二分类问题的理想联系函数：单位阶跃函数
-
阶跃函数的代替函数：Sigmoid函数
-
带入线性模型可得
-
几率，表示样本取正例的可能性比例：
-
对数几率：
-
目标：寻找合适的 W 和 b ，使函数输出逼近真实类别
将y视为类别取值为1或0的概率，可得：
目标函数求解方法：梯度下降法、牛顿法
model = LogisticRegression(max_iter=500,solver='newton-cg').fit(tr_in,tr_out)
model_res = model.predict(te_in)逻辑回归实例
以鸢尾花为例：
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
import warnings
warnings.filterwarnings("ignore")
iris = load_iris()
X, y = iris.data, iris.target
# 因为鸢尾花具有三个类别，4个特征，此处仅使用其中两个特征，并且移除一个类别（类别0）。
X = X[y != 0, 2:]
y = y[y != 0]
# 此时，y的标签为1与2，我们这里将其改成0与1。（仅仅是为了习惯而已）
y[y == 1] = 0
y[y == 2] = 1
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)
lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
print("权重：", lr.coef_)
print("偏置：", lr.intercept_)
print("真实值：", y_test)
print("预测值：", y_hat)
可视化结果：
c1 = X[y == 0]
c2 = X[y == 1]
plt.scatter(x=c1[:, 0], y=c1[:, 1], c="g", label="类别0")
plt.scatter(x=c2[:, 0], y=c2[:, 1], c="r", label="类别1")
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")
plt.title("鸢尾花样本分布")
plt.legend()
plt.figure(figsize=(15, 5))
plt.plot(y_test, marker="o", ls="", ms=15, c="r", label="真实类别")
plt.plot(y_hat, marker="X", ls="", ms=15, c="g", label="预测类别")
plt.legend(loc="center")
plt.xlabel("样本序号")
plt.ylabel("类别")
plt.title("逻辑回归分类预测结果")
plt.show()
获取预测的概率值，包含数据属于每个类别的概率
# 获取预测的概率值，包含数据属于每个类别的概率。
probability = lr.predict_proba(X_test)
display(probability[:5])
display(np.argmax(probability, axis=1))
# 产生序号，用于可视化的横坐标。
index = np.arange(len(X_test))
pro_0 = probability[:, 0]
pro_1 = probability[:, 1]
tick_label = np.where(y_test == y_hat, "O", "X")
plt.figure(figsize=(15, 5))
# 绘制堆叠图
plt.bar(index, height=pro_0, color="g", label="类别0概率值")
# bottom=x，表示从x的值开始堆叠上去。
# tick_label 设置标签刻度的文本内容。
plt.bar(index, height=pro_1, color='r', bottom=pro_0, label="类别1概率值", tick_label=tick_label)
plt.legend(loc="best", bbox_to_anchor=(1, 1))
plt.xlabel("样本序号")
plt.ylabel("各个类别的概率")
plt.title("逻辑回归分类概率")
plt.show()
多分类结果可视化（代码略）
在训练集上：
在测试集上：
全部代码我将放在GitHub上，需要的小朋友们可自行下载：GitHub
前文回顾：
机器学习笔记 – 1、认识机器学习