吴恩达机器学习-笔记-支持向量机

SVM是继logistic回归之后，andrew NG老师讲的又一个分类算法。其实吧，听下来，结合之前的课程，大致有了这样一个感觉。所谓算法，大同小异，都由如下几个部分构成：

基本模型：这个一般都很简单直接，比如SVM，在二维数据集上理解，其实就是最大间距分类器，这条线上和每一点的距离最远。SVM这里，其实就是在在高阶多项式的基础上，构建了一个新的函数，就是相似度函数，又叫核函数。然后，用核函数来定义测试数据和训练模型之间的欧氏距离或者是什么别的指标（要看选择什么样的核函数）

代价函数（损失函数）：评估算法的重要指标

优化算法：optimazation算法。对于SVM来讲，它的代价函数是凸函数，所以要找全局最优值。这个优化包就很多了，比如梯度下降。

其他的就是一些需要注意的点啦，下面零零碎碎的记录一些：

1.SVM在选择决策边界的时候是很牛逼的，他会选择最优的那个，这就使得模型具有鲁棒性，也就是说，模型对于其他数据也有很好的效果~不然怎么叫作大间距分类器呢？

2.在使用三方库的时候，应用SVM一般会有如下一些参数要设置，C，σ^2，核函数。
C=（1/λ），C越小，意味着高偏差，欠拟合
C越大，意味着高方差，过拟合

σ^2则会影响核函数的倾斜程度
σ^2越大，核函数越平缓，意味着函数的变化不明显，就会导致高偏差低方差，欠拟合
σ^2越小，核函数越陡，意味着函数的变化很快，就会导致高方差低偏差，过拟合

核函数。使用默认的SVM是不带核函数的，那也就是一个线性模型，和logistic很像。再往后，一个简单的核函数比如说有gaussian kernel，它是一个非线性模型，可以用来画圆，你懂的

对于一些复杂的数据，使用带核函数的SVM效果可能是会比logistic效果要好很多的。