machine-learning第七周 上机作业

大过年了，趁值班的清闲拾光多学点算法。这一周是流弊哄哄的SVM（支持向量机）算法。没有女神的解读根本看不懂视频啊。

有几个点：

1、女神说：“y=1时，随着z↑，h(x)逐渐逼近1，cost逐渐减小。” 这里h(x)是指sigmoid函数逼近于1，cost1函数逼近于0。

2、这张图，前面提到C一般设的很大，但C非常大的时候，反而会被很少的异常点所影响，从黑线变到粉线。所以C要设的大，但又不是太大。

3、向量内积u^Tv = ||u|| · ||v|| · cosθ = ||u|| · p = u₁v₁+u₂v_2。

_{这是怎么来的呢？有方向的矢量是如何变成只有数字大小的标量的呢？参考wiki}

_{内积也称点乘，假设u、v都是二维向量，u的长度为p1，v的长度为p2。首先我们定义点乘u.*v = u1v1+u2v2 。 也就是u.*v=p1 * cosθ1 * p2 * cosθ2 +  p1*sinθ1 + p2 * sinθ2 = p1*p2*(cosθ1cosθ2 + sinθ1sinθ2) = p1*p2*cos(θ1-θ2) ，其中θ1-θ2为u和v的夹角。  揍是这么神奇！} 

_{这里有向量内积的几何意义和物理意义，说实话，我还不是很懂。更不用说逆天的叉积了。}

_{4、boundary的角度和θ向量呈的是90°角。}

_{假设svm decision boundary 函数为 θ1x1 + θ2x2  >=0 (if y = 1)  这里去掉θ0的干扰，它只起到平移零点的作用。那么我们无论取θ1、θ2什么值，所画出来的直线一定是与（θ1，θ2）这个向量垂直。}

_{对于decision boundary，再说一点，p·||θ||>=1 中的p，主要指的是离boundary最近的那些点（能分界线附近的支持点），估计也是支持向量机的含义来源之一。因此对于如题，我们取p=2即可。}

_{接下来。。。接下来我就不明白为何要用核函数，怎么关联起来的了，看了一些文章，绝对的高大上，必须得沉下心好好的想想。}

_……

_{若干天后，我还在看svm的原理和含义。《支持向量机通俗导论（理解SVM的三层境界）》的确还是通俗很多。诚如该作者所言：“本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年1月。”}

_{若想找到更多的文章，知乎上https://www.zhihu.com/question/19684187 可以有比较专业的参考。}