机器学习（12） -- 计算学习理论

12.1 基础知识

12.1 基础知识

计算学习理论研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计

样例集 ，, ，所有样本 i.i.d. ，

h为X到Y的映射（下面公式中的D是所有样本服从的一个未知分布D）

泛化误差：

，简记为，≤ε，ε表示预先设定的学得模型所应满足的误差要求，亦称“误差参数”

经验误差：

，简记为

两个映射之间差别度量：

 

常用不等式：

1、Jensen不等式：对任意凸函数f(x)，有 f(E(x)) ≤ E(f(x))

2、Hoeffding不等式： 若为m个随机变量，且满足，对任意ε，有

3、McDiarmid 不等式： 若为m个随机变量，且任意 1≤i≤m，函数f满足

则对任意ε>0，有

12.2 PAC学习

计算学习理论中最基本的是概率近似正确（Probably Approximately Correct，简称PAC）学习理论。

c ：目标概念，对任何样例与c(x)=y成立

C：“概念类”，希望所学得的目标概念所构成的集合

L：学习算法

H：假设空间，给定学习算法L所认为可能的概念的集合，h∈H

 

m：从分布D中独立采样得到的样例数目

ε ：误差

δ ：置信度

size(x)：数据本身的复杂度

size(c)：目标概念的复杂度

 

若c∈H，则称该问题对学习算法L是可分的，反之不可分

 

PAC辨识：0<ε,δ<1，c∈C，分布D，若存在学习算法L使得h∈H满足：P ( E(h)≤ε ) ≥1-δ，则算法L能从假设空间H中PAC辨识概念类C。

 

PAC可学习：m，0<ε,δ<1，对所有分布D，若存在学习算法L和多项式函数poly(·,·,·,)，使得对任何m>poly(1/ε,1/δ,size(x),size(c))，L能从假设空间H中PAC辨识概念类C，则称概念类C对假设空间H而言是PAC可学习的，有时也简称概念类C是PAC可学习的。

 

PAC学习算法：若学习算法L使概念类C为PAC可学习，且L的运行时间也是多项式函数poly(1/ε,1/δ,size(x),size(c))，则称概念类C是高效PAC可学习的，称L为概念类C的PAC学习算法。

 

样本复杂度：满足PAC学习算法L所需的m>poly(1/ε,1/δ,size(x),size(c))中最小的m，称为学习算法L的样本复杂度。

 

PAC学习给出了一个抽象地刻画机器学习能力的框架；某任务在什么样的条件下可学得较好的模型？某算法在什么样的条件下可进行有效的学习？需要多少训练样例才能获得较好的模型？