机器学习(周志华)读书笔记---第3章 线性模型

3.1 基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数
机器学习(周志华)读书笔记---第3章 线性模型_第1张图片
线性模型优点:
(1)形式简单,易于建模
(2)可解释性
非线性模型可以通过引入层次结构或高维映射而得
3.2 线性回归
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记
机器学习(周志华)读书笔记---第3章 线性模型_第2张图片
最小二乘法:令均方误差最小(欧氏距离),来确定w和b

机器学习(周志华)读书笔记---第3章 线性模型_第3张图片

得到此时w和b的值(闭式解)
机器学习(周志华)读书笔记---第3章 线性模型_第4张图片

对于多元线性回归,同样可用最小二乘估计
若可逆

其中

若不可逆,有多个解,通过正则化选择最佳的。

线性回归 也可利用梯度下降法确定预测函数(看PPT)
机器学习(周志华)读书笔记---第3章 线性模型_第5张图片
或者随机梯度下降:

机器学习(周志华)读书笔记---第3章 线性模型_第6张图片
梯度下降与最小二乘对比:

机器学习(周志华)读书笔记---第3章 线性模型_第7张图片
线性模型的变化: 机器学习(周志华)读书笔记---第3章 线性模型_第8张图片
输出标记的对数作为线性模型毕竟的目标

利用联系函数构造广义线性模型
机器学习(周志华)读书笔记---第3章 线性模型_第9张图片
3.3 对数几率回归

为了做分类任务,用对率函数(sigmoid)作为联系函数
机器学习(周志华)读书笔记---第3章 线性模型_第10张图片
可将y视为后验概率,那么

机器学习(周志华)读书笔记---第3章 线性模型_第11张图片
用极大似然来估计w与b

最大化 对数似然:
机器学习(周志华)读书笔记---第3章 线性模型_第12张图片
求3.4 机器学习(周志华)读书笔记---第3章 线性模型_第13张图片

3.4 线性判别分析
LDA思想:设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类尽可能远离。

机器学习(周志华)读书笔记---第3章 线性模型_第14张图片
LDA的目标:

机器学习(周志华)读书笔记---第3章 线性模型_第15张图片
机器学习(周志华)读书笔记---第3章 线性模型_第16张图片
机器学习(周志华)读书笔记---第3章 线性模型_第17张图片
3.5 多分类学习

机器学习(周志华)读书笔记---第3章 线性模型_第18张图片
多分类学习有多种方法:OV0(一对一)、OVR(一对其余)、MVM(多对多)

机器学习(周志华)读书笔记---第3章 线性模型_第19张图片
机器学习(周志华)读书笔记---第3章 线性模型_第20张图片
机器学习(周志华)读书笔记---第3章 线性模型_第21张图片
机器学习(周志华)读书笔记---第3章 线性模型_第22张图片

你可能感兴趣的:(机器学习笔记)