吃瓜教程——DATAWHALE3月组队学习Task01
写在前面的话：
本系列文章旨在对本人21年3月参加机器学习组队学习所学到的的知识以及心得体会进行记录，文章知识性内容皆总结于周志华老师所著的《机器学习》（"西瓜书"）以及datawhale出版的教辅书"PUMPKIN BOOK"（"南瓜书"）。
本人为计算机专业大三在读，对机器学习、深度学习等人工智能相关领域兴趣颇深的小白一枚，所以在准备考研初期拿出一部分时间对机器学习进行初步的了解，为以后的学习或工作打基础，很荣幸能和队里的大佬们一起进步。
Task01:概览西瓜书+南瓜书第1、2章
由于前面两章公式类的知识较少，且一些美容现在理解起来较为困难，所以根据学习建议，在本篇文章中我只对一些概念性的基本知识和术语进行总结。
第一章：绪论
基本术语
（色泽 = 青绿； 根蒂 = 蜷缩； 敲声 = 浊响）
这里每对括号内是一条记录，"="的意思是"取值为"。
记录是关于对象或事件的描述，称为："示例"（instance）或"样本"（sample）；
数据集：一组记录的集合。
"色泽"、"根蒂"称为：属性（attribute）、特征（feature）；
属性的取值： 属性值（attribute value）；
属性张成的空间：样本空间（attribute space）、属性空间（sample space）；
所以一个示例也可以称作：特征向量；
D = {x1,x2,...,xm}：包含m个示例的数据集；
xi = (xi1,xi2,...,xi3)：用d个属性描述；组成d维的样本空间 ，d称为维数；
（色泽 = 青绿； 根蒂 = 蜷缩； 敲声 = 浊响， 好瓜）
"好瓜"称为标记（关于示例结果的信息）；
拥有标记信息的示例称为："样例"（example）;
(xi, yi)表示第i个样例，yi是示例xi的标记；
所有标记的集合称为：标记空间（label space）、"输出空间"；
学习任务：
预测离散值（"好瓜"、"怀瓜"）的学习任务称为："分类"（classification）；
对于只涉及两个类别的分类任务（"二分类"（binary classification）），通常一个为正类一个为反类
预测连续值（"瓜的成熟度：0.97"）的学习任务："回归"（regression）；
预测任务希望通过对训练集进行学习，来建立一个从输入空间到输出空间的映射；
学习任务分类：
根据训练数据是否有标记信息分为：
监督学习（supervised learning）
无监督学习（unsupervised learning）
第二章：模型评估与选择
2.1经验误差与过拟合
错误率：样本分类错误数量在总样本中占的比率
精度："1 - 错误率"，通常用百分比形式
误差（error）：学习器的实际预测输出与样本的真实输出之间的差异；
"在很多情况下，我们可以学得一个经验误差很小、在训练集上表现很好的学习器，例如甚至对所有训练样本都分类正确，即分类错误率为零，分类精度为100%，但这是不是我们想的的学习器呢？遗憾的是，这样的学习器在多数情况下都不好。"
训练误差（training error)：在训练集上的误差；
泛化误差（generalization error）:在新样本上的误差；
过拟合（overfitting）：将训练样本自身的特点当作一般性质；
欠拟合（underfitting）：训练样本的一半性质尚未学好；
2.2模型评估
测试集（testing test）：测试学习器对新样本的判别能力，以新样本上的测试误差作为泛化误差的近似；
留出法（hold-out）
将数据集D划分为两个互斥的集合，训练集S和测试集T。即
, 
；
分层采样(stratified sampling)：例如通过对 D进行分层采样而获得含 70% 样本的训练集S和含30% 样本的测试集T，若D包含500个正例、500 个反例，则分层采样得到S应包含350个正例、350个反例，而工则包含150个正例和 150 个反例;若S、T中样本类别比例差别很大，则误差估计将由于训练/测试数据分布的差异而产生偏差。
需要注意的问题：单次使用留出法得到的估计结果往往不够可靠，一般采用若干次随机划分、重复进行试验评估后取平均值作为评估结果。
常见做法：将2/3～4/5的样本用于训练，剩余的样本进行测试；
交叉验证法（cross validation）
将数据集 DD划分为k个大小相似的互斥子集。每次用k-1个子集的并作为训练集，剩下的1个作为测试集。通过k次训练和测试，返回k个测试结果的均值。
特例——留一法：假定数据集D中包含m个样本，令k=m。 优点：评估结果往往被认为比较准确；缺点：数据及较大时计算开销较大
自助法（boostrapping）
对数据集D，每次随机挑选一个样本将其放入D'中，再放回去，使其下一次采样时仍有可能被采到，整个过程重复m次（有放回随机采样）。
样本在m次采样中始终不被采集到的概率（求极限）
优点：在数据集较小，难以有效划分训练/测试集时很有用；此外，自助法能从初识数据集中产生多个不同的训练集；
缺点：会引入偏差；
因此，在数据量足够时，留出法和交叉验证法更常用。
调参与最终模型（parameter tuning）
现实中的做法是：对每个参数选定一个范围和变化步长；
验证集（validation set）：模型评估与选择中用于评估测试的数据；
2.3 性能度量
性能度量（performance measure）:反映了任务需求，模型的好坏不但取决于算法和数据，还决定于任务需求。
均方误差（mean squared error）:回归任务最常用的性能度量；
错误率与精度
错误率
精度
查准率、查全率与F1
查准率P，查全率R分别定义为
其中TP为真正例，FP为假正例，NP为假反例，此外还有TN为真反例；
P-R曲线（图源 周志华 《机器学习》p31 图2.3）
若一个学习器的P-R曲线被另一个学习器的曲线完全包住，则可以断言后者的性能高于前者；
平衡点（BEP ，Break-Even Point)
查全率 = 查准率时的取值；
F1 度量
BEP还是过于简化了些，最常用的是F1度量；(total表示样例总数)
