【西瓜书Chapter1】基本术语和机器学习三要素

一、基本术语

数据处理

• 数据集 data set
• 样本 sample
• 特征 feature
• 属性 attribute
• 属性值 attribute value
• 属性空间 attribute space
• 样本空间 sample space
• 特征向量 feature vector
• 维数 dimensionality

训练

• 训练 training
• 训练数据 training data
• 训练样本 training sample
• 训练集 training set
• 假设 hypothesis
• 真相 ground-truth
• 学习器 learner

预测

• 预测 prediction
• 标记 label
• 样例 example
• 标记空间 label space
• 分类任务 classification
• 回归任务 regression
• 二分类任务 binary classification
• 正类 positive class
• 反类 negative class
• 多分类任务 multi-class classification

测试

• 测试 testing
• 测试样本 testing sample
• 聚类 clustering
• 簇 cluster

其他

• 监督学习 supervised learning
• 无监督学习 unsupervised learning
• 泛化 generalization
• 分布 distribution
• 独立同分布（i.i.e） independent and identically distributed

二、机器学习三要素

模型

机器学习首先要考虑的问题是学习什么样的模型。在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间（hypothesis space）包含所有可能的条件概率分布或决策函数。

策略

有了模型的假设空间，接着考虑的是按照什么样的准则学习或选择最优的模型。统计学习的目标在于从假设空间中选取最优模型。

算法

算法是指学习模型的具体计算方法。选择算法后统计学习问题归结为最优化问题，统计学习的算法成为求解最优化问题的算法。

本博客内容来源于李航的《统计学习方法（第2版）》。