线性回归学习笔记

一个例子

数据：工资和年龄
预测目标：贷款额度
通俗解释
对于一个三维坐标系，x,y 是特征，z是一个预测的值，拟合一个平面，称为线性回归。‘
拟合平面：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$
$h_{\theta }(x)=\sum {\theta }_i{x}_i={\theta }^{T}x$
方便矩阵运算

预测误差

真实值与预测值之间必然存在误差
$\alpha =h_{\theta }(x)+q$
误差满足独立同分布的高斯分布
独立：个体不同
同分布：同一个系统（同一家银行）
高斯分布：误差浮动在一个范围内
线性回归可以把参数的最优解（全局最优解）解出来。
因为线性回归的误差函数是 $J(\theta )=\sum |y^{\prime }-y|{\theta }^2=\sum (y^{\prime }-y)$
这是一个与 $\theta$ 有关的二次函数
但是一般情况下，我们都无法求得这个全局最优解，所以我们要使用最优化思想。

最优化思想

梯度下降是一种常用的最优化思想，主要思想是沿着偏导最值的方向进行下降，这样可以让函数的变化率最大，尽快达到最优解。
下降速度不能太快，太空容易错过最优点（学习率）。
所以我们要选择一个合适的学习率，不能太高。
一般用小批量下降法