机器学习笔记（2-3）--林轩田机器学习基石课程

Gurantee of PLA

这一小节，老师解决了我上一节中遗留的问题。

首先，只有当数据集data是线性可分的时候，才存在 f 超平面，将空间没有错误地划分成两块。所以，PLA才能输出一个可行解 g 。

其次，证明PLA可以在有限步输出 g 分为三部分：

1. 证明w_f · w_{t+1} > w_f · w_{t} （其中w_f是最优解 f 对应的权向量）:

   
   
   
   

   这一证明意味着，经过不断的修正，w_t 会变得越来越接近理想的 w_f。

2. 证明 w_{t+1}^2 <= w_t^2 + max{x_n^2}:

   
   
   
   

   第二步证明表示，每一次的修正，w_t 长度的增长量都有限。

3. 我们应用1，2中的结论，进行如下证明：

   
   

这一步说明，w_f和w_t的夹角的余弦值会随着时间 t 越来越大。又由于余弦值小于等于1，所以，w_t 必定会收敛。且收敛步数至多是：

至此，我们证明了当数据集是线性可分的时候，PLA可以在一定时间内返回一个完美的划分函数 g 。