西瓜书第一章

1. 绪论
   1. 引言

机器学习：在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）。

模型：泛指从数据中学得的结果。

1. 基本术语

数据集

训练：从数据中学得模型的过程

测试：学得模型后，使用其进行预测的过程

示例（instance）或 样本：无结果

样例（example）：有结果，有y

属性（attribute）或 特征（feature）

属性值（attribute value）

属性空间=样本空间=输入空间

属性空间由特征向量张成

标记空间=输出空间

1. 假设空间

计算学习理论：PAC（probably approximately correct，概率近似正确）learning model

使得​​​​​​​尽量的小的概率尽量大（以很高的概率得到）

模型：规则、规律

显式 or 隐式

每一个模型都是一个假设

假设（hypothesis）f(x)

真相（ground-truth）y

假设空间：所有假设组成的空间

版本空间（version space）：与训练集一致的“假设集合”

离散的输出

      分类

             二分类

             多分类

连续型的输出

      回归

1. 归纳偏好

归纳偏好(偏置)：机器学习算法在学习过程中某种类型假设的偏好（inductive bias）。

“奥卡姆剃刀原则”：若多个假设与观察一致，则选最简单的那个。

“没有免费的午餐（NFL）”