机器学习算法1_线性回归

通俗描述

线性回归模型是利用线性函数对一个或多个自变量和因变量$（y）$之间关系进行拟合的模型。

公式推导

数据输入
给定数据集$D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m)\}，y_i\in R$
1）一元线性回归：当$x_i$只有一个特征值，$x_i=(x_{i1})$

原始模型	$f(x_i)=w{x}_i+b$
性能度量	均方误差$\sum _{i=1}^m(f(x_i)-y_i{)}^2$
目标函数	求使均方误差最小时的$w,b$，即最小二乘法$(w^{\ast },b^{\ast })=\genfrac{}{}{0ex}{}{argmin}{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$
方程求解	$\frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)=0$$\frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)=0$$$w^{\ast }=\frac{\sum _{i=1}^m{y}_i(x_i-\bar{x})}{\sum _{i=1}^m{x}_i^2-\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2}$$$${b}^{\ast }=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$其中$\bar{x}=\frac{1}{m}\sum _{i=1}^m{x}_i$ 为 $x$的均值
模型输出	$f(x_i)=w^{\ast }{x}_i+b^{\ast }$

2）多元线性回归：$x_i=(x_{i1},x_{i2},\dots ,x_{id})，y=(y_1,y_2,\dots ,y_m)$

原始模型	$f({\hat{x}}_i)={\hat{w}}^{T}X，其中X=(x_i^T;1),\hat{w}=(x_i;b)$
性能度量	均方误差
目标函数	${\hat{w}}^{\ast }=\genfrac{}{}{0ex}{}{argmin}{\hat{w}}(y-X\hat{w}{)}^T(y-X\hat{w})$
方程求解	$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2X^T(X\hat{w}-y)=0$$${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
模型输出	$f({\hat{x}}_i)={{\hat{w}}^{\ast }}^{T}X$

基本概念

【1】 线性 = 直线？

• 线性函数的定义是：一阶或零阶多项式。特征是一维时，线性模型在二维空间构成一条直线；特征是二维时，线性模型在三维空间中构成一个平面；特征是三维时，则最终模型在四维空间中构成一个体；以此类推…

【2】最小二乘法

• 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离最小之后最小。

【3】最大似然估计

• 一种重要而普遍的求估计量的方法。通过调整估计参数，使得已经实现的样本发生概率最大。

【4】梯度下降法

• 从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。

【5】凸函数

• 对区间$[a,b]$上定义的函数$f$，若它对区间上任意两点$x_1,x_2$均有$f(\frac{x_1+x_2}{2})\le \frac{f(x_1)+f(x_2)}{2}$，则称$f$是区间$[a,b]$上的凸函数。
• 对实数集上的函数，可以通过二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。

【6】线性回归模型评价标准

• 回归评价指标 MSE(均方误差)、RMSE(均方根误差)、MAE(平均绝对误差)、R-Squared($R^2$)

【7】L1和L2范数

• 机器学习中正则化项L1和L2的直观理解
• 机器学习中的范数规则化-L0,L1和L2范式

算法实践

算法实践_线性回归

总结

• 优点：实现简单，计算简单
• 缺点：不能很好地拟合非线性数据
• 应用场景：线性回归简单、易于使用，但是现实生活中数据的特征和目标之间并不是简单的线性组合，所以并不能很好的解决具体问题。所以线性回归常用于数据特征稀疏，并且数据过大的问题中，可以通过线性回归进行特征筛选。在比赛中也可以用线性回归做一个Baseline。

问题

1. 线性回归可以进行分类么
2. 线性回归可以做特征选择么
3. 线性回归、Ridge回归（L2范式）、Lasso 回归（L1范式）的区别和适用条件
4. 最小二乘法的算法复杂度怎么分析
5. 线性回归能处理非线性数据么

参考

1. 李烨-机器学习极简入门课
2. 机器学习-周志华
3. 几个常用算法的适应场景及其优缺点
4. 有道云笔记-线性回归
5. https://github.com/Heitao5200/Heitao5200_MachineLearning/blob/master/LR/LinearRegression.md
6. https://blog.csdn.net/weixin_41246832/article/details/82916841