西瓜书机器学习_一二章

第一章

学习任务大致可分为两类：有监督学习（分类、回归）和无监督学习（聚类）

通常会假设样本空间的采样服从独立同分布原则

归纳偏好：与数据集一致的假设可能有多种，好的算法有一定的偏好来在其中进行选择，而不是随机选择（如奥卡姆剃刀）

NFL：所有的学习算法的性能期望值都相同

第二章

生成训练集与测试集的一般方法

留出法：将数据集划为两个互斥的集合，一个为训练集，一个为测试集。划分时要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。多次随机划分并重复实验，取平均值。

交叉验证法：将数据集划分为个大小相似的互斥子集，每个子集尽可能保持数据分布一致性，每次用其中个子集作为训练集，剩下个作为测试集，进行次训练和测试，最终返回其平均值。通常需要使用不同的划分方法划分出个子集，可重复次。

留一法：交叉验证法的一种特例，数据集中样本个数等于。

自助法：基于bootstrap sampling。在数据集较小、难以有效划分和时较有用，但其产生的数据集改变了初始数据集的分布，会引入估计误差，在数据量足够时更常使用留出法和交叉验证法。

考察模型性能的方法1：查准率（Precision）与查全率（Recall），绘制曲线，度量。

多次训练与测试会得到多个混淆矩阵，可以求解宏或微。 

考察模型性能的方法2：绘制ROC曲线（TPR-FPR），AUC的大小与性能的好坏正相关。AUC考虑的是样本预测的排序质量，因此其与排序误差相关度极大，排序损失的大小可定义为：

 

考察模型性能的方法3：绘制代价曲线（归一化代价-正例概率代价，西瓜书35页）

考虑代价矩阵后，错误率为：

代价曲线的横轴是取值为的正例概率代价，其中为样例为正例的概率：

纵轴是取值为的归一化代价：