台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression

台湾国立大学机器学习基石.听课笔记(第九讲):
Linear Regression(线性回归)

1、线性回归问题

例如,信用卡额度预测问题:特征是用户的信息(年龄,性别,年薪,当前债务,...),我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。
目标值y 是实数空间R。


线性回归假设的思想是:寻找这样的直线/平面/超平面,使得输入数据的残差最小。
通常采用的error measure 是squared error:

台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression_第1张图片

2、线性回归算法


squared error 的矩阵表示:
台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression_第2张图片

Ein 是连续、可微的、凸函数,可以通过偏微分求极值的方法来求参数向量w。由于是凸函数,所以其最小值就是其极小值。



求得Ein(w) 的偏微分:




上面分两种情况来求解w。当(X^T)*X(X 的转置乘以X) 可逆时,可以通过矩阵运算直接求得w;不可逆时,直观来看情况就没这么简单。
实际上,无论哪种情况,我们都可以很容易得到结果。因为许多现成的机器学习/数学库帮我们处理好了这个问题,只要我们直接调用相应的计算函数即可。有些库中把这种广义求逆矩阵运算成为 pseudo-inverse。
到此,我们可以总结线性回归算法的步骤(非常简单清晰):


3、线性回归是一个“学习算法” 吗?


我们在这通过数学来证明:


台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression_第3张图片
台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression_第4张图片
台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression_第5张图片

最后得到:




4、线性回归与线性分类器

比较一下线性分类与线性回归:



之所以能够通过线程回归的方法来进行二值分类,是由于回归的squared error 是分类的0/1 error 的上界,我们通过优化squared error,一定程度上也能得到不错的分类结果;或者,更好的选择是,将回归方法得到的w 作为二值分类模型的初始w 值。

台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression_第6张图片

线性回归与线性分类有相同之处, 我们以后求解线性分类时,可以先求线性回归,看看它的结果。最后,再用线性分类进行进一步求解相关问题。
这样,我们就基本搞定了线性回归。#

你可能感兴趣的:(机器学习,听课笔记,台湾国立大学机器学习基石)