AI-理论-吃瓜教程-基础-task1

AI-理论-吃瓜教程-基础-task1

(Datawhale37期组队学习)

1知识点

1. 基本术语
2. 归纳偏好
3. 经验误差、过拟合
4. 评估方法
5. 性能度量
6. 比较检验
7. 偏差与方差

2具体内容

2.1基本术语

1. 通过计算手段，利用经验改善系统自身的性能。模型->学习算法
2. 数据集
3. 特征、属性
4. 属性空间、样本空间
5. 训练集
6. 泛化：学得模型适用于新样本的能力
7. 归纳：从特殊到一半的泛化（从样例中学习）
8. 演绎：从一般到特殊的泛化

2.2归纳偏好

• 奥卡姆剃刀：若有多个假设与观察一致，选最简单的那个
• 没有免费的午餐：总误差与学习算法无关，无论算法怎样，期望性能相同；
• 学习算法自身的归纳偏好与问题是否相配起决定性作用

2.3经验误差、过拟合

• 训练误差、经验误差：学习器在训练集上的误差
• 泛化误差：学习器在新样本上的误差
• 过拟合：把训练样本自身的特点当作所有潜在样本都会有的一般性质
  • 无法避免，选泛化误差最小的模型
• 欠拟合：对训练样本的一般性质尚未学好

2.4评估方法

1. 留出法：分层采样尽量保持数据分布的一致性，采用若干次随机划分、重复实验评估后取平均值作评估结果
2. 交叉验证：数据分为k个大小相似的互斥子集，每次取k-1个做训练集，1个做测试集，进行k次训练、测试，返回k个结果的均值为最终结果
   • 留一法：若有m个样本，k=m的特例

注意：留一部分做测试，比整体数据集小，引入因训练样本规模不同导致的估计偏差

3. 自助法： 又放回采样，估计有36.8%样本未出现在采样数据集（包外估计）
   • 用于数据集较小，难以有效划分训练/测试集时有用
   • 改变初始数据集分布会引入估计偏差

2.5性能度量

1. 两类参数：算法的参数：超参数；模型的参数，很多->调参
   • 对每个参数选定一个范围和变化步长（计算开销和性能估计之间折中）
   • 基于训练集训练
   • 基于验证集模型选择/调参
   • 基于测试集评估实际应用中的泛化力
2. 衡量模型泛化能力-性能度量
   • 错误率：分类错误样本占总数比例
   • 精度：分类挣钱样本占总数比例
   • 查准率（混淆矩阵）P=TP/(TP+FP)
   • 查全率 R=TP/(TP+FN)
   • P-R曲线，P-R图(比较：计算面积)
   • F1 =2PR/(P+R)=2TP/(样例总数+TP-TN)
   • 宏。。。：先分别计算再算均值
   • 微。。。：先计算均值再算各值
   • ROC曲线：纵：真正例率TPR，横：假正例率FPR
     • TPR=TP/(TP+FN)
     • FPR=FP/(TN+FP)
   • AUC：计算ROC下面积
     

2.6比较检验

• 假设检验
• 交叉验证t检验
• McNemar检验
• Friedman检验与Nemenyi后续检验

2.7偏差与方差

泛化误差=偏差+方差+噪声之和

• 偏差：度量学习算法的期望预测与真实结果的偏离程度，刻画学习算法本身的拟合能力
• 方差：度量同样大小训练集的变动所导致的学习性能的变化，刻画数据扰动所造成的影响
• 噪声：表达在当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画学习问题本身的难度
• 泛化性能由学习算法能力、数据的充分性、学习任务本身的难度共同决定
• 偏差-方差窘境（控制训练程度）

3待补充

无

4Q&A

无

5code

无

6参考

• https://github.com/datawhalechina/pumpkin-book