损失函数介绍简单线性回归最小二乘法梯度下降求解线性回归评价指标多元线性回归链接

损失函数介绍

损失函数描述了单个样本预测值和真实值之间误差的程度。用来度量模型一次预测的好坏。

损失函数是衡量预测模型预测期望结果表现的指标。损失函数越小，模型的鲁棒性越好。。

常用损失函数有：

0-1损失函数：用来表述分类问题，当预测分类错误时，损失函数值为1，正确为0
平方损失函数：用来描述回归问题，用来表示连续性变量，为预测值与真实值差值的平方。（误差值越大、惩罚力度越强，也就是对差值敏感）
绝对损失函数：用在回归模型，用距离的绝对值来衡量
对数损失函数：是预测值Y和条件概率之间的衡量。事实上，该损失函数用到了极大似然估计的思想。P(Y|X)通俗的解释就是：在当前模型的基础上，对于样本X，其预测值为Y，也就是预测正确的概率。由于概率之间的同时满足需要使用乘法，为了将其转化为加法，我们将其取对数。最后由于是损失函数，所以预测正确的概率越高，其损失值应该是越小，因此再加个负号取个反。

以上损失函数是针对于单个样本的，但是一个训练数据集中存在N个样本，N个样本给出N个损失，如何进行选择呢？这就引出了风险函数。

1、损失函数：单个样本预测值和真实值之间误差的程度。

2、期望风险：是损失函数的期望，理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失。

3、经验风险：模型关于训练集的平均损失（每个样本的损失加起来，然后平均一下）。

4、结构风险：在经验风险上加上一个正则化项，防止过拟合的策略。

简单线性回归

简单线性回归方程

损失函数为：平方损失函数

当损失函数最小，即L=0时，求解a和b

最小二乘法

对a和b求偏导，

image.png

梯度下降求解

梯度下降就是按照梯度的方向改变的值，因为梯度的方向就是使损失函数变化最快的方向

批量梯度下降

每次更新要保证所有样本的代价函数下降最快

img

于是

img

随机梯度下降**

每次更新保证某一个样本的代价函数下降的最快

小批量梯度下降

每次更新保证k个样本的代价函数下降的最快

线性回归评价指标

均方误差MSE：指参数估计值与参数真值之差平方的期望值;

均方根误差RMSE：是均方误差的算术平方根

平均绝对MAE：绝对误差的平均值

R方：

调用

mean_squared_error(y_test,y_predict)
mean_absolute_error(y_test,y_predict)
r2_score(y_test,y_predict)

多元线性回归

简单线性回归只需要计算前两项，多元线性回归需要计算n+1个指标


class LinearRegression:

 def __init__(self):
 """初始化Linear Regression模型"""
 self.coef_ = None    # 系数（theta0~1 向量）
 self.interception_ = None   # 截距（theta0 数）
 self._theta = None  # 整体计算出的向量theta

 def fit_normal(self, X_train, y_train):
 """根据训练数据X_train，y_train训练Linear Regression模型"""
 assert X_train.shape[0] == y_train.shape[0], \
 "the size of X_train must be equal to the size of y_train"
 # 正规化方程求解
 X_b = np.hstack([np.ones((len(X_train), 1)), X_train])
 self._theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train)

 self.interception_ = self._theta[0]
 self.coef_ = self._theta[1:]
 return self

 def predict(self, X_predict):
 """给定待预测的数据集X_predict，返回表示X_predict的结果向量"""
 assert self.interception_ is not None and self.coef_ is not None, \
 "must fit before predict"
 assert X_predict.shape[1] == len(self.coef_), \
 "the feature number of X_predict must be equal to X_train"
 X_b = np.hstack([np.ones((len(X_predict), 1)), X_predict])
 y_predict = X_b.dot(self._theta)
 return y_predict

 def score(self, X_test, y_test):
 """很倔测试机X_test和y_test确定当前模型的准确率"""
 y_predict = self.predict(self, X_test)
 return r2_score(y_test, y_predict)


 def __repr__(self):
 return "LinearRegression()"

调用

from myAlgorithm.model_selection import train_test_split
from myAlgorithm.LinearRegression import LinearRegression

X_train, X_test, y_train, y_test = train_test_split(X, y, seed = 666)

reg = LinearRegression()
reg.fit_normal(X_train, y_train)

reg.coef_
输出：
array([-1.18919477e-01,  3.63991462e-02, -3.56494193e-02,  5.66737830e-02,
 -1.16195486e+01,  3.42022185e+00, -2.31470282e-02, -1.19509560e+00,
 2.59339091e-01, -1.40112724e-02, -8.36521175e-01,  7.92283639e-03,
 -3.81966137e-01])

reg.interception_
输出：
34.16143549622471

reg.score(X_test, y_test)
输出：
0.81298026026584658

链接

《模型之母：简单线性回归&最小二乘法》

《模型之母：简单线性回归的代码实现》

《模型之母：多元线性回归》

线性回归