台大机器学习笔记(2)——Learning to Answer Yes/No

2.1 Perceptron Hypothesis Set

　　感知机的假设空间：认为输入实例的特征向量上的每个分量都有一个权重，其加权和若高于阈值则判正例，否则判负例。该模型可变型为加权和减阈值取符号，若正判正例否则判负例，将阈值的负数作为0维权重，1作为0维特征分量，模型可写成 h(x)=sign(wTx) 。
　　该函数的几何意义是n维空间上的超平面。特征分量越重要权值越高，否则越小或者为负。

2.2 Perceptron Learning Algorithm

　　感知机的学习方法(PLA)：当判断训练实例发生错误时： wt+1=wt+yn(t)xn(t) ，其中n是第n个实例，t是第t次迭代。其几何意义是，当正例判负时，说明加权向量的线在实例点上方，故缩小加权向量与实例向量(从0到实例点的向量)的夹角，让该实例更容易判正，反之亦然。
　　一个有趣的公式： ynwTt+1xn≥ynwTtxn ，说明对于第n个实例来说，这一次的修订可能会使它被正确划分。

2.3 Guarantee of PLA

2.3.1 线性可分：如果所有训练数据都能用一个超平面分成正反两类，则称其为线性可分，否则为线性不可分。
2.3.2 PLA的收敛性
　　(1) yn(t)wTfxn(t)≥minnynwTfxn 导出 wt 不停接近 wf
该公式表明，如果理想划分 wTf 存在的话，那么在所有被错误划分的点中，存在一个离理想超平面最近的点 xn ，所以 wTfwt+1>wTfwt+minnynwTfxn>wTfwt ，说明 wt 不停接近 wf 。
　　(2) ||wt|| 不会增长太快
将 ||wt+1||2 拆分成 wt 的表达式，去掉中间的负项得 ||wt+1||2≤||wt||2+maxn||xn||2 。可见其增长的最大速度是实例中范数最大的向量的范数。
　　(3)根据以上两式联合推导

1≥wTfwt||wf||⋅||wt||≥T−−√ρR

其中 R=maxn||xn||2，ρ=minnynwTfxn||wf|| 。上述等式的左边与右边变型即得T的上界。

2.4 Non-Separable Data

　　口袋算法：在PLA的基础上记录到目前为止划分效果最好的方案，并将PLA每次迭代生成的方案与最好方案进行对比，留下较好者。