【读书笔记】李航统计学习方法 第一章 统计学习与监督学习概论（上）

第一章 统计学习与监督学习概论（上）

1.1 统计学习

1） 首先要明确：统计学习=机器学习（基本不做区分）
2）统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。
【说明】这只是一个假设，在实际应用中并不尽然，所以才有了Domain Adversarial
Learning

1.2 统计学习的分类

1. 基本分类

2. 按模型分类

1）概率模型与非概率模型
2）线性与非线性
3）参数化与非参数化

3. 按算法分类

1）在线
2）批量

4. 按技巧分类

1）贝叶斯学习（具体学习）
2）核函数

1.3 统计学习方法三要素

1）书P4倒数第三段
模型：a set of function
策略：how to select the best function (find θ)
算法：how to find the best parameter
2）补充：分位数回归（具体学习）
3）梯度下降、牛顿法等（具体学习）