Support Vector Machines个人笔记

1.support vector machines和逻辑回归的区别
（1）.逻辑回归是通过添加min(A+lamda*theta^2)来进行优化避免出现过拟合,选出不同的lamda值来控制
（2）SVM是通过min(CA+theta^2)，
其中根据h =

在逻辑回归中明显得到
y=1 h(x)近似于1 则theta’*x>>0
y=0 h(x)近似于0 则theta’*x<<0
我们在逻辑回归中对cost function做了一个变形

上诉结论变为：
y=1 h(x)近似于1 则theta’*x>>0 令Z=theta’*x
y=0 h(x)近似于0 则theta’x<<0 令Z=theta’x

根据此公式
y=1 h(x)近似于1 则theta’x>>0，课程中为theta’x>>1强化了分类
y=0 h(x)近似于0 则theta’x<<0，课程中为theta’x>>-1
至此只需要找到Min(CA+1/2theta^2)
MIN(CA +1/2theta^2)时 C是控制量，使得CA=0
则Min(CA+1/2theta) 近似于求MIN(1/2theta^2)

数学上分析SVM有较大边距原因：

感谢Andrew Ng在cousera上面的课程
图片来资源cousera，作为个人笔记使用