Generalized linear models and linear classification

在听张潼讲一些线性模型的课程，为方便以后回忆，贴一些图再加上点注释。

首先讲到了svm loss和logistic loss之间的优缺点。

logistic loss能够给出概率值，但是svm loss不能。但反过来说logistic loss并不能给出一个separateble的解，因为只有-f(x)*y等于正无穷或者负无穷的时候logistic loss才会是0或者1，但是svm却能够给出separateble解，以为它并不是基于概率值的，而是基于支持向量。

quadratic svm loss导数是连续的，但是svm loss导数是不连续的。

另一个是svm loss比logistic loss更接近于classification error loss(这个loss是非凸的，优化是NP hard)，所以会有更小的bias，但是缺点是它有更高的variance，看来还是那个理论：No free lunch. 下面这张图就能看得更清楚：

   上面图中粉红色的线就是classification error loss，当f(X)*Y小于0的时候loss是1，大于0的时候loss是0.

   红色的线是svm loss，从某种意义来说这个loss是逼近classification error loss最小的covex的曲线. 开头一段是是线性的loss，当f(x)*Y > 1以后，loss就是0.

   绿色的线是logistic loss，和svm loss很接近，但是就是loss是不会等于0的.

   蓝色的线是square loss，用来做classification其实不是很好，因为在f(X)*Y > 1以后，它的曲线还会往上走，即loss会变大，这和我们直觉不一致。因为如果f(X)和Y同符号，并且随着f(X)越大，从直观上我们会觉得loss应该越来越小。但是在high dimension的时候，这个效果就会不明显，所以可能ridge regression也不会太差.