线性回归

【关键词】最小二乘法，线性¶

插入一些好用的知识点

np.random.permutation(210)  # 产生 0到209 一共210个值 打乱顺序 （只是顺序乱了 值不会重复也不会少）
samples = samples.take(np.random.permutation(210))  # 按照随机索引的顺序 去样本中取数据 （只是顺序乱了 样本不会多也不会少）samples = samples.take(np.random.permutation(210))  # 按照随机索引的顺序 去样本中取数据 （只是顺序乱了 样本不会多也不会少）

#  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
# train_test_split函数 参数： X 特征数据集 y 结果集合 test_size测试集占的比例 random_state对随机数的设定
# 返回值 分别是X_train, X_test, y_train, y_test这样的顺序 （一定要注意这个顺序）
X_train, X_test, y_train, y_test = train_test_split(data,target,test_size=0.1,random_state=42)

一、普通线性回归

1、原理

分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。

应当怎样从一大堆数据里求出回归方程呢？

假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过

Y=X*W

给出。现在的问题是，手里有一些X和对应的Y,怎样才能找到W呢？

一个常用的方法就是找出使误差最小的W。这里的误差是指预测Y值和真实Y值之间的差值，使用该误差的简单累加将使得正差值和负差值相互抵消，所以我 们采用平方误差。

import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt
# 使用机器学习模型来拟合这些点
from sklearn.linear_model import LinearRegression

2. 糖尿病严重程度预测

获取糖尿病数据

# 糖尿病的数据集 是sklearn的datasets里面自带的
import sklearn.datasets as datasets
diabetes = datasets.load_diabetes()
diabetes

data = diabetes.data  # 数据
data
feature_names = diabetes.feature_names  # 特征名
target = diabetes.target  # 目标值

创建数学模型

lr = LinearRegression()
lr.fit(data,target)  # 传入各个样本的特征 和 结果值
w = lr.coef_  # 斜率
b = lr.intercept_  # 截距

第二步：预测

# 随机产生一个索引 按照索引从原来的样本中抽取一个数据
# 看带入模型后算出的结果 和 真实值的偏差
index = np.random.randint(0,442,size=1)[0]
index
data[index]
target[index]
# 根据 机器学习模型 计算出来的 截距和斜率 还有 随机抽取的那个样本的特征值 去计算结果
y_ = np.dot(w,data[index]) + b
# 看看预测出来的结果和真实结果 差别大不大
y_
print('真实的结果是：',target[index])
print('回归的结果是：',y_)
lr.predict(data[index].reshape(1,-1))

第三步：绘制图形（研究某一特征和糖尿病严重程度的关系）

# 把 bmi拿出来
bmi_data = data[:,2]
# 机器学习模型 需要的都是 二维的数据
# 每一行是一个样本 每一列是一个特征
# bmi_data是很多样本的 bmi这一个特征 所以要变形
bmi_data = bmi_data.reshape(-1,1)

X_test = bmi_data  # 特征
y_test = target  # 目标值
plt.scatter(X_test,y_test)
lr = LinearRegression()
lr.fit(X_test,y_test)
w = lr.coef_
b = lr.intercept_
y_ = w*X_test + b
y_
plt.scatter(X_test,y_test)
plt.plot(X_test,y_,color='green')

二、岭回归¶

1、原理

缩减系数来“理解”数据

如果数据的特征比样本点还多应该怎么办？是否还可以使用线性回归和之前的方法来做预测？

答案是否定的，即不能再使用前面介绍的方法。这是因为输入数据的矩阵X不是满秩矩阵。非满秩矩阵在求逆时会出现问题。

为了解决这个问题，统计学家引入了岭回归（ridge regression)的概念

缩减方法可以去掉不重要的参数，因此能更好地理解数据。此外，与简单的线性回归相比，缩减法能取得更好的预测效果。

岭回归是加了二阶正则项的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。

归纳总结

1.岭回归可以解决特征数量比样本量多的问题

2.岭回归作为一种缩减算法可以判断哪些特征重要或者不重要，有点类似于降维的效果

3.缩减算法可以看作是对一个模型增加偏差的同时减少方差

岭回归用于处理下面两类问题：

1.数据点少于变量个数

2.变量间存在共线性（最小二乘回归得到的系数不稳定，方差很大）

# 还是从sklearn.linear_model里面引入 只不过引入的是Ridge函数
from sklearn.linear_model import Ridge

# alpha=1.0 指定就是 引入的误差的大小 alpha越大 引入的误差就越大
rr = Ridge(alpha=10000)
# 如果不引入偏差 各个特征的权重和普通线性回归完全一样
# 如果偏差太大 所有特征的权重就几乎没有了
rr.fit(data,target)
rr.coef_
rr.intercept_
lr = LinearRegression()
lr.fit(data,target)
lr.coef_
lr.intercept_