（机器学习周志华 西瓜书 南瓜书）吃瓜教程 Task01

1.3 假设空间

学习过程：在所有假设空间中搜索，为了使搜索结果与训练集一致，可以修改或删除假设。

那么西瓜的色泽、根蒂、敲声就是样本的属性/特征，假设空间就是由数据集属性/特征的所有值组成的空间。学习过程就是就是学习符合“好瓜”特征的值。

所有假设空间：
倘若“色泽”有3种取值，那样本空间则为4，因为还包括任意值 *；
总假设空间还要+1，即加上空集，没有“好瓜”。

假设空间搜索方式可以自顶向下或自底向上等，可能根据数据集情况而定。

1.4 归纳偏好

怎么判断哪一个瓜“更好”，是尽可能特殊，还是尽可能一般？ 如果不选择偏好，模型无法判断更好，某个瓜时而是好瓜时而是坏瓜就没有意义了。

常用奥卡姆剃刀原则：“若有多个假设与观察一致，选择最简单的”。即曲线越平滑的，方程次数越小的。

但是可能出现，训练集外的数据更符合复杂的B模型而不是简单的A模型。传说中的No free lunch? 没有免费的午餐定理？若算法a在某些问题上比算法b好，那么必然存在另一些问题，在这些问题中b比a性能更优。没有单一的，通用的最佳机器学习算法，必须根据数据和背景知识来选择合适的机器学习模型。

误差公式：

1. E_ote (E: expectation期望；ote: off-training error训练集外误差)
2. χ−X：训练集外样本
3. Ⅱ(*) 指示函数 (indicator function): 定义在某集合X上的函数，表示其中有哪些元素属于某一子集A。则Ⅱ(h(x)≠f(x))为，假设与目标函数不符，分类不正确。

公式解读：
用训练集X训练出的模型a，和实际目标函数 f 的误差 = 对于不同假设h，训练集外每个样本的概率 $\times$ 分类结果 $\times$ 训练集训练a模型得到假设h的概率之和

其中，分类结果只有在不正确的时候，也就是h(x)≠f(x)的时候，指示函数Ⅱ(h(x)≠f(x))才为1。所以公式只会对分类不正确的概率求和。

2.1 经验误差与过拟合

欠拟合易解决，改善学习能力即可，如决策树扩展分支、神经网络增加训练轮数等； 而过拟合只能缓解。 通过评估，选择泛化误差最小的模型，即最优模型（model selection）.

用测试误差作为泛化误差的近似，而不是等同于泛化误差，所以文中假设测试集是独立同分布采样而得。于是为了采样合理，提到不同测试集划分方法，如“留出法” 、“交叉验证法” 和“自助法”。

训练集：用于训练模型
验证集：用于模型选择和调参
测试集：用于评估模型实际使用时的泛化能力

2.3 性能度量

均方误差公式解读：m个预测值f(x_i)与实际值y_i误差的平方和的均值

SSE, Sum of squared errors (和方差): 预测数据和原始数据对应点误差的平方和（平方是为了忽略预测值-实际值差的正负号）
MSE, mean square error (均方方差)：$\frac{SSE}{n}$

若SSE是正方形，那MSE就是平均大小的正方形：

2.3.1 错误率与精度

错误率公式：

公式解读：$\frac{预测错误的个数}{样本总数}$
对Ⅱ(f(x_i)≠y_i) 求和，即预测值f(x_i)不等于实际值y_i的个数，也就是预测错误的个数。

精度公式：

公式解读：$\frac{预测正确的个数}{样本总数}$ = 1- 错误率