学习记录（20_05_30）——模型评估与选择（评估方法、性能度量）

#学习记录
#向字林（20205.5.30，江西财经大学）
#学习书籍（周志华的西瓜书）

#重要名词：
逻辑程序设计（Inductive Logic Programming，ILP）
统计学习：statistical learning
支持向量机：Support Vector Machine，SVM
“核方法”：kernel method
SDM模型：Sparse Distributed Memory

错误率(error rate)=a/m ；a为分类错误的样本，m为样本总数
精度(accuracy)=1-E
误差(error)：实际预测输出与真实输出
训练误差(training error)/经验误差(empirical error)：在训练集上的误差
范湖误差(generalization error)：在新样本上的误差

过拟合：overfitting
欠拟合：underfitting

模型选择：model selection
测试集(testing set)----测试误差(testing error)
验证集(validation set)

参数：parameter
调参：parameter tuning

留出法(hold out)
分层采样(stratified sampling)
交叉验证(cross validation)
“k折交叉验证”（k-fold cross validation）
留一法(Leave-One-Out，LOO)

自助法(bootstrapping)
自助采样(bootstrap sampling)
包外估计：out-of-bagestimate
性能度量（performance measure）

查准率（precision）、查全率（recall）与F1
二分类问题：
真正例（true positive，TP）
假正例（false positive，FP）
真反例（true negative，TN）
假反例（false negative，FN）
平衡点：Break-Even Point，BEP

宏查准率：macro-P
宏查全率：macro-R
宏F1：macro-F1
微查准率：micro-P
微查全率：micro-R
微F1：micro-F1

分类阈值：threshold
受试工作特征：Receiver Operating Characteristic，ROC

真正例率：True Positive Rate，TPR
假正例率：False Positive Rate，FPR
AUC：Area Under ROC Curve

#阅读记录：
连接主义最大局限：学习过程涉及大量参数，而参数设置缺乏理论的指导。

评估方法：
1.留出法：直接在数据集D上划分两个互斥的集合。
分层采样：保留类别比例的采样方式。
通常将样本数大约2/3~4/5的样本进行训练，其余样本进行测试

2.交叉验证：将数据集D划分为k个大小相似互相偏差吃的自己，每个子集应该尽可能保持数据分布的一致性，然后用k-1个自己作为训练集，余下那个自己作为测试集，从而进行k次训练，最终返回的结果为k个测试结果的均值。
交叉验证的稳定性与保真性很大程度上取决于k值
交叉验证又被称为“k折交叉验证”-----通常k=10

特例：留一法：
	缺陷：数据集太大时，计算开销太大，且预测结果未必永远比其他方法有用。

3.自助法：可以减少因训练样本规模的变化而引起的误差。
以自助采样为基础：
m样本数据集，通过自助采样，样本m采样中均不被采到的概率：(1-1/m)^m
m为无穷时:概率为1/e，约等于0.368.

优点：
	1.在数据集很少的时候、难以划分训练集时很有用。
	2.能产生多个训练集，对集成学习等方法很有用
缺点：
	1.自助法改变了初始数据集的分布，会引入估计偏差。

性能度量：
回归任务常用的性能度量：