机器学习常用模型-线性回归模型详解（简单易懂）

机器学习

线性回归模型是机器学习常用模型之一，机器学习的本质就是以数据为驱动，自主的从数据中寻找规律的方法，机器学习有如下特点：

• 更少的人为假设和定义
• 更灵活的应用
• 更高的准确度

常见的机器学习方法包括非监督式学习、监督式学习、半监督式学习、强化学习与优化

回归

根据已有的数据建立因变量Y与自变量X定量(函数)关系的模型
$y=f(x_1,x_2,...x_n)$

线性回归模型函数关系：$y=ax+b$

非线性回归模型函数关系：$y=a{x}^2+bx+c$

回归的应用例子：

• 在同一城区根据房屋面积预测房价
• 根据人均GDP预测人均寿命

线性回归模型

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数，线性回归模型函数关系：$y=ax+b$。

线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其未知参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。

线性回归模型求解方法

1.最小二乘法

最小二乘法本质是最小化均方误差，其只适用于线性回归模型求解

均方误差$Loss=\sum (\overline{y}-y{)}^2$，其中$\overline{y}=ax+b$

分别令$\frac{\partial Loss}{\partial a}=0$与$\frac{\partial Loss}{\partial b}=0$

求解参数$a$与$b$

2.梯度下降法

梯度下降法对于回归模型求解具有普适性

损失函数$g(a,b)=\frac{1}{2n}\sum (\overline{y}-y{)}^2$，其中$\overline{y}=ax+b$

搜索方法：$J=f(p)$ $=>$ $p_{i+1}=p_i-a\frac{\partial f(p_i)}{\partial p_i}$，其中a为学习速率，通常设置为0.001-0.1

通过多次迭代求得符合条件的a和b

$a_{new}=a_{old}-a\frac{\partial g(a,b)}{\partial a}$
$b_{new}=b_{old}-a\frac{\partial g(a,b))}{\partial b}$

项目实战

Python建立多因子线性回归模型预测房价见文章：https://blog.csdn.net/weixin_43308610/article/details/123359324