吴恩达机器学习入门——支持向量机

优化目标

这是一个logistic回归的例子，如果y=1，我们也希望模型得出来的h_$\theta$(x)也应为1；如果y=0，我们也希望模型得出来的h_$\theta$(x)也应为0；

我们要使代价函数尽可能小，z要趋于无穷大，上图中的粉色的图像就是SVM向量机，我们用它来替代代价函数，它的计算效果一样。

logistic回归经过优化得到SVM的代价函数。

SVM与logistic回归不同点是，SVM的输出是直接预测值（0或1），而logistic回归的输出值为0和1的概率值。
此外，
如果C非常大的情况下，要使代价函数最小值，只能让cost1（z）、cost2(z)为0，可以从图中看出y=1时，我们希望$\theta$^Tx大于等于1；当y=0时，$\theta$^Tx小于1。

上图数据集是线性可分的，我们可以得到上面的多种分类曲线，可以看出黑色的线具有最大间距，黑色线的分类效果比其他两条线好。

核函数

如上图我们要求得到一个非线性的判断边界，除了上图的高阶多项式外，还有另一种方法如下：

取三个标点l1，l2,l3，然后给出x关于这些标记点的函数，如上图，该相似度函数就是核函数。下面我们分析一下他们的原理：

这个相似度函数的作用是衡量x与标记点的相似度，如果x很接近标记点则为1，反之。

上图的例子是：标记点为（3,5），不同 $\delta$对f1函数的影响。

如果对很多不同的样本点都进行核函数计算，这样就可以形成红色的界限了。

我们把每一个样本都作为标记点，这样对于每个样本都有对应于每个标记点的相似函数，把相似函数写成一个向量的表示形式f^（i）。下图为SVM算法带有核函数的应用。

相关参数对SVM的影响：

运用SVM

使用SVM，我们要先选择参数C和核函数，核函数一般分为无核函数与高斯核函数，他们的应用背景各不相同。如果特征n比较多，样本m比较少倾向于选无核函数；反之，选择高斯函数。根据不同情况，具体如下：

matlab的高斯核函数表示式如下：

SVM也适用于多元分类问题。