机器学习(12) -- 计算学习理论

12.1 基础知识

12.1 基础知识

计算学习理论研究的是关于通过“计算”来进行“学习”的理论,即关于机器学习的理论基础,目的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计

样例集 , ,所有样本 i.i.d. ,

h为X到Y的映射(下面公式中的D是所有样本服从的一个未知分布D)

泛化误差:

,简记为≤ε,ε表示预先设定的学得模型所应满足的误差要求,亦称“误差参数”

经验误差:

,简记为

两个映射之间差别度量:

 

常用不等式:

1、Jensen不等式:对任意凸函数f(x),有 f(E(x)) ≤ E(f(x))

2、Hoeffding不等式: 若为m个随机变量,且满足,对任意ε,有

机器学习(12) -- 计算学习理论_第1张图片

3、McDiarmid 不等式: 若为m个随机变量,且任意 1≤i≤m,函数f满足

则对任意ε>0,有

12.2 PAC学习

计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,简称PAC)学习理论。

c :目标概念,对任何样例与c(x)=y成立

C:“概念类”,希望所学得的目标概念所构成的集合

L:学习算法

H:假设空间,给定学习算法L所认为可能的概念的集合,h∈H

 

m:从分布D中独立采样得到的样例数目

ε :误差

δ :置信度

size(x):数据本身的复杂度

size(c):目标概念的复杂度

 

若c∈H,则称该问题对学习算法L是可分的,反之不可分

 

PAC辨识:0<ε,δ<1,c∈C,分布D,若存在学习算法L使得h∈H满足:P ( E(h)≤ε ) ≥1-δ,则算法L能从假设空间H中PAC辨识概念类C。

 

PAC可学习:m,0<ε,δ<1,对所有分布D,若存在学习算法L和多项式函数poly(·,·,·,),使得对任何m>poly(1/ε,1/δ,size(x),size(c)),L能从假设空间H中PAC辨识概念类C,则称概念类C对假设空间H而言是PAC可学习的,有时也简称概念类C是PAC可学习的。

 

PAC学习算法:若学习算法L使概念类C为PAC可学习,且L的运行时间也是多项式函数poly(1/ε,1/δ,size(x),size(c)),则称概念类C是高效PAC可学习的,称L为概念类C的PAC学习算法。

 

样本复杂度:满足PAC学习算法L所需的m>poly(1/ε,1/δ,size(x),size(c))中最小的m,称为学习算法L的样本复杂度。

 

PAC学习给出了一个抽象地刻画机器学习能力的框架;某任务在什么样的条件下可学得较好的模型?某算法在什么样的条件下可进行有效的学习?需要多少训练样例才能获得较好的模型?

 

你可能感兴趣的:(机器学习,机器学习)