吃瓜教程 | Datawhale-2021.10打卡（Task01）

第1章 绪论

第一章引入了机器学习的基础概念及发展历史，以下是对人工智能以及机器学习中概念进行了罗列绘图：

机器学习的目标（个人理解）：机器通过在海量数据中寻找规律或是在与环境的交互中获得知识，从而使其服务于人类社会。

1.2 基本术语

数据集（样本）：一组数据的集合，其中每条记录是关于一个事件或对象的描述，称为一个“示例”。
属性：反映事件或对象在某方面的表现或性质的事例，属性上的取值称为属性值。
样本空间：属性张成的空间。

训练：从数据中学得模型的过程。
训练数据：训练过程中使用的数据称为训练数据，其中每个样本称为一个训练样本。

测试：学得模型后，使用其进行预测的过程称为测试，其中被预测的样本称为“测试样本”。

根据训练数据是否拥有标记信息，学习任务大致划分为两大类：

1. 监督学习（Supervised learning）
2. 无监督学习（Unsupervised learning）

泛化能力：学得模型适用于新样本的能力。
独立同分布（$i.i.d$）：通常假设样本空间中全体样本服从一个未知“分布”（distribution），即获得的每个样本都是独立地从这个分布上采样获得的。

归纳（induction）：从特殊到一般的“泛化”（generalization）。
演绎（deduction）：从一般到特殊的“特化”（specialization）。

第2章 模型评估与选择

2.1 经验误差与过拟合

经验误差：学习器的实际预测输入与样本的真实输出之间的差异称为误差，学习器在训练集上的无差称为“经验误差”。

过拟合：偏差小，方差大，学习器把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，从而导致过拟合现象。

欠拟合：偏差大，方差小，欠拟合现象由训练数据集较少、训练轮数小导致。

偏差反映学习算法的拟合程度，而方差则刻画了数据扰动所造成的影响。

2.2 评估方法

为了对数据集进行适当的处理，从中产生出训练集$S$和测试集$T$：留出法、交叉验证法、留一法、自助法。

对于式（2.1）的补充证明：

性能度量

对学习器的泛化性能进行评估，因此需要有衡量模型泛化能力的评价标准，这就是性能度量。

错误率：分类错误的样本数占样本总数的比例。
精度：分类正确的样本数占样本总数的比例。

查准率（Precision）：从预测的角度出发，描述二分类器预测的正例有多少是正确的。
查全率（Recall）：从真实的正例角度出发，描述真实的正例有多少被二分类器挑选了出来。
一般说来，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。

为了综合度量查准率与查全率，引出了：平衡点（BEP）、F1度量。