周志华《机器学习》第三章 线性模型——线性回归

周志华《机器学习》（西瓜书）目录

https://editor.csdn.net/md?articleId=106864771
—————————————————————————————————

线性回归

线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
线性回归试图学得

其关键在于衡量$f(x)$和$y$之间的差别。均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化。

最小二乘法是求解均方误差的最好方法，因此，在线性回归中，最小 A乘法就是试图 找到一条直线，使所有样本到直线上的欧氏距离之和最小。
记
通过最小二乘"参数估计"估计w和b的值，求导得其结果为：

求解结果为：


更一般的“多元回归”表示为：

与一元回归类似，通过最小二乘法估计w和b的值。有

其中


令

求导得到

令其为零，其中涉及到矩阵的逆，需要分情况讨论。
当$X^{T}X$为满秩矩阵(full-rank matrix)或正走矩阵(positive definite matrix)时,求解得到

参考文献

[1] 周志华. 机器学习 : = Machine learning[M]. 清华大学出版社, 2016.