西瓜书读书笔记(十二)-计算学习理论

全部笔记的汇总贴:《机器学习》西瓜书-读书笔记汇总贴

一、基础知识

计算学习理论(computational learning theory)研究的是关于通过计算来进行学习的理论。

常用的几个不等式:

  • Jensen不等式
  • Hoeffding不等式
  • McDiarmid不等式

二、PAC学习

算学习理论中最基本的是概率近似正确(PAC)学习理论。
西瓜书读书笔记(十二)-计算学习理论_第1张图片
西瓜书读书笔记(十二)-计算学习理论_第2张图片

西瓜书读书笔记(十二)-计算学习理论_第3张图片

三、有限假设空间

  • 可分情形
  • 不可分情形

西瓜书读书笔记(十二)-计算学习理论_第4张图片

四、VC维

现实学习任务所面临的通常是无限假设空间,欲对此种情形的可学习性进行研究,需度量假设壁间的复杂度.最常见的办法是考虑假设空间的 “vc维 ” 。

  • 增长函数
  • 对分
  • 打散

五、Rademacher复杂度

Rademacher复杂度(Rademachercomplexity)是另一种刻画假设空间复杂度的途径,与vc维不同的是,它在一定程度上考虑了数据分布。

六、稳定性

算法的 “稳定性” 考察的是算法在输入发生变化时,输出是否会随之发生较大的变化。

通过移除或者替换,来看稳定性。

要注意到稳定性与假设空间并非无关。

下一章传送门:西瓜书读书笔记(十三)-半监督学习

你可能感兴趣的:(西瓜书读书笔记,机器学习,西瓜书)