2.1 线性回归算法学习——简单线性回归算法的原理及推导过程

机器学习中的参数模型（线性回归、逻辑回归、SVM、神经网络等）学习过程：

通过建模找到一个最大程度拟合数据的模型，通过确定损失函数（或效用函数，统称为目标函数），最优化目标函数来获得机器学习模型的参数。

回归分析：

利用已知的数据，（线性回归中需要找到一条直线）最大程度的拟合样本与输出标记，即产生拟合方程，从而对未知的数据进行预测。

如何判断是否选用线性模型处理问题?

使用相关系数r衡量特征与标记之间的相关性强弱，判断是否适合用直线进行拟合,r为0到1的值，越接近1，相关性越强

如果x与y有较强的相关的模型，则有y=ax+b

寻找合适的参数a,b,使得误差即损失最小

效果最好如何评估？

误差最小——>所有y到直线的距离最小，距离需要开方，开方不是处处可导——>转换为y与y(预测值)的差最小，但有可能正负抵消——>加绝对值，绝对值求导也不好求——>距离差的平方，即残差平方和（误差平方和）

通过最小二乘法求解最小值

求解过程：

求解b

求解a

再优化