机器学习初步1

1.3机器学习
机器学习的经典定义：利用经验改善系统自身的性能。
机器学习离不开计算机系统。

随着大数据的发展，目前主要研究智能数据分析的理论和方法，并已成为智能数据分析技术的源泉。
大数据不等于大价值，得到价值必须使数据经过有效的数据分析，这就要利用机器学习。

1.4、典型的机器学习过程

1.5、计算学习理论
最重要的理论模型：PAC
P(|f(x)-y|≤ϵ )≥1-δ

1.6、基本术语
数据集；训练，测试；示例instance，样例example；样本sample；属性attribute，特征feature；属性值；属性空间，样本空间，输入空间；特征向量feature vector；标记空间，输出空间；假设hypothesis；真相ground-truth；学习器learner；分类，回归；二分类，多分类；正类，反类；未见样本unseen instance；未知“分布”；独立同分布（i.i.d）；泛化generalization

1.7、归纳偏好
任何一个有效的机器学习算法必有其偏好。
一般原则：奥卡姆剃刀Occam’s razor. 其基本想法：若非必要，勿增实体。
学习算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

1.8、NFL定理

NFL定理：一个算法ξₐ若存在某些问题上比另一个算法ξₑ好，必存在另一些问题ξₑ比ξₐ好。
NFL定理的重要前提：所有“问题”出现的机会相同，或所有问题同等重要。
实际情形并非如此，我们通常只关注自己正在试图解决的问题。
脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义。
具体问题，具体分析！
机器学习并非“十大套路“、”二十大招数“的简单堆积，现实任务千变万化，最优方案往往来自按需设计、度身定制。

2.1、泛化能力
泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
模型好的判断标准有：能很好地适用于未见样本unseen instance; 错误率低，精度高……

2.2、过拟合和欠拟合(overfitting;underfitting)

过拟合是指模型在训练集上表现很好，到了验证和测试阶段就很差，即模型的泛化能力很差。
欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况。
泛化误差：在“未来“样本上的误差。
经验误差：在训练集上的误差，亦称“训练误差”。

2.3三大问题
1.如何获得测试结果？（评估方法）
2.如何评估性能优劣？（性能度量）
3.如何判断实质差别？（比较检验）

2.4评估方法
怎么获得测试集？（测试集应该与训练集“互斥”）
常见方法：
1.留出法 hold-out

注意:保持数据分布一致性（例如：分层采样）
多次重复划分（例如：100次随机划分）
测试集不能太大、不能太小（例如1/5~1/3）
2.交叉验证法 cross validation
为利用所有数据：K-折交叉验证法
【例】10折交叉验证：

数据切分要做十次，故这种验证方法为10*10的交叉验证（100次实验）。
留一法(leave-one-out, LOO)：只留一个数据测试，其余数据训练。
3.自助法 bootstrap
基于“自助采样”，又称“有放回采样”、“可重复采样”
【例】有100个数据做模型，从其中采样出一个数据集（包含100个样本）做模型，同时样本中未出现的数据留出做测试。

缺点：（训练集与原样本集同规模）
数据分布有所改变

2.5调参与验证集
算法的参数：一般由人工设定，亦称“超参数”
模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估方法进行选择
参数调得好不好往往对最终性能有关键影响。
验证集 validation set：用于调参
算法参数选定后，要用“训练集+验证集”重新训练最终模型，最终模型再放到测试集里测试得出性能。

2.6性能度量
性能度量是衡量模型泛化能力的评价标准，反映了任务需求。
使用不同的性能度量往往会导致不同的评判结果。
什么模型是“好”的，不仅取决于算法和数据，还取决于任务需求。

2.7比较检验
1.在某种度量下取得评估结果后，不能直接比较以评判优劣。原因：
测试性能不等于泛化性能
测试性能随着测试集的变化而变化
很多机器学习算法本身有一定的随机性
2.统计假设检验为学习器性能比较提供了重要依据
两学习器比较：
a.交叉验证t检验（基于成对t检验）
K折交叉验证；5*2交叉验证
b.McNemar检验（基于列联表，卡方检验）