西瓜书南瓜书笔记（第1、2章）

第1章 绪论

1、学习的形式化定义：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中的任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。

2、【属性值】：如“青绿”

【属性空间】==【样本空间】==【输入空间】

【属性】==【特征】：如“色泽”

【记录】==【示例】==【样本】==【特征向量】

【数据集】

【标记空间】==【输出空间】

 3、训练数据有无标记信息：监督学习和无监督学习

监督学习：主要是分类和回归问题，其中预测离散值为分类，预测连续值为回归；

无监督学习：主要是使用聚类。

 4、图1.1的假设空间规模大小：4*3*3+1=37。其中，属性分别为3、2、2种可能取值，且都可能该属性值未知的情况，则有（3+1）*（2+1）*（2+1），最后+1代表的是不存在好瓜的情况。

5：“奥卡姆剃刀”原则：若有多个假设与观察一致，则选择最简单的那一个。

第2章 模型评估与选择

1、训练集上的误差称为“训练误差”，新样本上的误差称为“泛化误差”。

2、过拟合无法避免，只能减少风险。

 我们通常把训练的数据分为三个文件夹：训练集、测试集和验证集。

3、下面这个比喻非常恰当：模型的训练与学习，类似于老师教学生学知识的过程。

 

训练集（train set）：用于训练模型以及确定参数。相当于老师教学生知识的过程。

验证集（validation set）：用于确定网络结构以及调整模型的超参数。相当于月考等小测验，用于学生对学习的查漏补缺。

测试集（test set）：用于检验模型的泛化能力。相当于大考，上战场一样，真正的去检验学生的学习效果。

参数（parameters）是指由模型通过学习得到的变量，如权重和偏置。

超参数（hyperparameters）是指根据经验进行设定的参数，如迭代次数，隐层的层数，每层神经元的个数，学习率等。

4、查准率：预测结果为正例的样例中真正例的比例，即预测为正例样例的正确率。

查全率：预测结果正确的样例中为真正例的比例。

宏查全率：先分别计算，再取平均值。

微查全率：先取平均值，再分别计算。

参考博客：【深度学习】训练集、测试集和验证集_莫克_Cheney的博客-CSDN博客_训练集测试集验证集