1.1 统计学习方法的定义与分类

---

统计学习的概念

统计学习的定义

统计学习 (Statistical Machine Learning) 是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。

• 以计算机和网络为平台
• 以数据为研究对象
• 以预测和分析数据为目的
• 以方法为中心
• 是多领域交叉的学科

统计学习运用到的领域

统计学习的步骤

1. 得到一个有限的训练数据集合
2. 确定学习模型的集合 — 模型
3. 确定模型选择的准则 — 策略
4. 实现求解最优模型的算法 — 算法
5. 通过学习方法选择最优模型
6. 利用学习的最优模型对新数据进行预测或分析

训练集

测试集

数据

学习系统

模型

预测系统

预测结果

---

统计学习的分类

部分分类的解释:

概率模型和非概率模型：概率模型由条件概率来表达，非概率模型由函数来表达，决策树、朴素贝叶斯是概率模型，而感知机、支持向量机、神经网络这些是非概率模型。

参数化和非参数化模型：参数化模型一般处理简单的问题，非参数化模型一般处理复杂的问题。

在线学习和批量学习：在线学习，每次都接受一个样本，然后学习模型进行预测，之后不断重复的模型，适用于实时数据；批量学习，是一次接受所有样本，然后学习模型进行预测的模型。