台大-林轩田老师-机器学习基石学习笔记12

从缺陷开始

我们先来看下这两个图
如果我们的假设空间定在二维空间，那么当数据不是线性可分的时候，将会发生比较尴尬的事情——无从下手。
左边的数据我们称为线性可分，右边的是线性不可分。
之前的十一讲，所有林老师涉及的机器学习模型都为线性模型，即假设空间是线性的。线性模型中使用的界限函数为线性分数。线性模型的优点为在理论上可以使用VC维保证。但是，当数据集为线性不可分的时候，如右图，则会很难找到一条直线将两种类型完全分离，错误率将会很高，而且还是Ein。但是我们这一讲就是提出一个转换方式进行纬度上的一些操作进行实现我们原先线性可分的所能实现的那些机器学习模型。
我们发现，左边的图是线性可分，但是右边的虽然不是线性可分但是它可以被一个圆形分开。比如我们画一个这样的圆：

开始进阶

这个圆符合下面的函数：

以上数据集使用一个半径为的圆形可以很好地划分两类数据，假设函数如上图所示：将样本点到远点的距离的平方与0.6的平方根作比较，小于0.6的平方根是+1，大于则为-1。
于是我们想到，能不能让这个模型有一个比较系统的归纳，甚至可以和我们之前的二次模型进行对比，能不能做一个转化。
事实证明，是可以的：

我们这样子写出我们的式子，这样的话我们得到了一组很像之前X数据空间（二次）的Z空间，这个Z空间和X空间的关系是：

{(xn, yn)} circular separable⇒ {(zn, yn)} linear separable

这样的时候我们想到了映射，从Z空间映射到X空间，就实现了我们之前的转化问题。

于是我们的问题变成：

非线性转化

那我们来看一下转化的步骤：

1. transform original data {(xn, yn)} to {(zn = Φ(xn), yn)} by Φ 通过特征转换将原始数据集x转换到新的数据集z
2. get a good perceptron w˜ using {(zn, yn)} and your favorite linear classification algorithm A 使用线性模型对新的数据集z进行分类，并且获取最优的权重向量值
3. return g(x) = sign (w˜ T Φ2(x)) 返回原始数据集x，将线性模型转换成其对应的二次曲线
随后我们来看下简单的叙述：

这个转化就是training的时候换一个空间做，testing的时候换回来

这个简单的话语带出两个选择：

• 特征转化的 Φ
• 线性模型A，不仅是线性分类问题

非线性转换的代价

转化有了，但是什么转化是好的转化呢，我们有这么多转换方案：

此时分析权重向量的维数：

我们得出一个结论：

Q large ⇒ large dVC

引用老师的话：

因此，当Q很大时，很大。当我们用来近似时，当很小的时候，可以满足，但是不满足，在变小的时候，假设函数变小，算法的选择变小，可能无法判断到的假设。
当很小的时候，不可以满足，不好得情况出现的几率增大，但是满足，在变大的时候，假设函数变大，算法的选择变大，的假设几率变大。

结构化假设空间

具体来量化这个假设空间
所有的假设空间：

得到他们之间的包含关系如下：

接着我们让g代替最小的Ein(h)：

画出下图：

问题又来了，这不就是找一个适中点嘛，对的就是这样~
维度越高自然越小，其中VC维与错误率的关系图如上图所示。
结论：如果选择高次多项式，可能Ein非常小，但是Eout很大，进而会有过拟合现象出现，所以在做多项式转换的时候可以先从低次往高次测试，最好是从一次式开始。

好久没更了，这次是带着期末考机器学习还可以的分数来的哈哈哈哈，感觉自信了很多，叙述这些内容的时候，我觉得机器学习是真的值得回味！