Machine Learning Course-CS 156 笔记 2

Lecture 2 : Is Learning Feasible?

视频地址：https://www.youtube.com/watch?v=MEG35RDD7RA

---

一个相关实验

• 一个容器里有红球和绿球
  
  P[抓到红球]=μ
  
  
  P[抓到绿球]=1−μ
• μ 的值是未知的
• 独立取出 N 个球
• 样本中红球的比例： ν

Possibility vs Probability

N 很大时 , |ν−μ|≤ϵ
应有:

P[|ν−μ|>ϵ]≤2e−2ϵ2N

即Hoeffding不等式

• 对所有 N 和 ϵ 有效
• 边界不取决于 μ
• N 、 ϵ 和 边界 的权衡
• ν≈μ⟹μ≈ν
  

P.A.C : Probaly , Approximately , Correct

---

与学习的联系

容器里：未知的是 μ
学习里：未知的是函数 f:X→Y

每个球都是 X 中的一个点 x

绿球代表假设正确： h(x)=f(x)
红球代表假设错误： h(x)≠f(x)

μ 和 ν 都依赖假设 h
—— ν is ‘in sample’ donated by Ein
—— μ is ‘out of sample’ donated by Eout

Hoeffding不等式改写为：

P[|Ein(h)−Eout(h)|>ϵ]≤2e−2ϵ2N

---

问题和解决

但是仍然不能应用到多次实验上。

• 1枚硬币扔10次，10次全正的概率：0.1%
• 1000枚硬币各扔10次，有一些得到10次全正的概率：63%

设 g 为最终假设：

P[|Ein(g)−Eout(g)|>ϵ]≤∑m=1MP[|Ein(hm)−Eout(hm)|>ϵ]

可写为：

P[|Ein(g)−Eout(g)|>ϵ]≤2Me−2ϵ2N