线性回归基本原理

线性回归（线性回归的目标是找到一组权重向量w和偏置b）

y = w1 x1 + w2 x2 + w3 x3 + b w123为权重值，b为偏差值

给定n维输入： x= [x1 , x2 , …, xn ] T

线性模型有一个n维权重和一个标量偏差： w = [w1 ,w2 , …,wn ] T , b

输出是输入的加权和： y = w1 x1 + w2 x2 + … + wn xn + b

（用向量的写法）y = 〈w, x〉 + b

线性模型可以看作是单层的神经网络

常见评估模型

（平方损失公式）

（均方损失公式）

重点来了！！！！

训练数据（如何获得权重和偏差）

1.收集一些数据点来决定参数值，这被称作训练数据，通常越多越好，假设有n个样本，记：

X = [x1 , x2 , …, xn]^ T y = [y1 , y2 , …, yn] ^ T

2.参数学习

（1）训练损失

此公式由平方损失公式得来，第二个等号后面的是向量版本

   我们此时的目标，就是找到一个w和b，使得此公式的结果值最小，为此，我们使用了最小化损失来学习参数，如下

 （2）最小化损失来学习参数

，arg是求当损失函数最小的时候的参数值

3.显示解（与其他大部分模型不同，线性回归的解可以用一个公式简单地表达出来， 这类解叫作解析解（analytical solution））

（ps： 最后得到的式子又叫“正规方程”，其推导过程可以参考：正规方程求解特征参数的推导过程_chenlin41204050的博客-CSDN博客_正规方程组的求解过程

）这个方程可以背下来

 这里面，ℓ(X, y, w) 时代价函数，对向量求导数，得其转置，大X看作w系数，

由于损失是凸函数加一个负号，所以最优解满足：当求导后的值为0时，原函数有最小值

 （补充说明凸函数）

 总结：

特别感谢：

李沐老师