LIBSVM代码实现 线性支持向量机之权重向量和决策函数戏说解读

线性支持向量机的目标函数如下：

公式推导之后权重向量w和决策函数为下面公式所示：

直观理解或者戏说解释一下，w和decision function为什么长这个鸟样子？ 这个鸟样子是否能够靠直接解释信以为真呢？

权重向量w解释：

alpha_i 是每个向量的系数，如果系数为零，则不是支持向量。这个容易理解。

fai_xi 是xi的映射变换形式。

yi 是每个样本xi的label，即-1或者+1

每个系数与对应支持向量x与y的乘积的和，即为权重向量w。 所以，权重w与每个支持向量及其标签label的符号都相关。向量的权重alpha和x的乘积决定了w的值的大小，yi决定了w的符号倾向。想要得出w，必须先计算出alpha，同时w的计算有赖于所有样本的值和label。

决策函数的戏说理解：

决策函数就是如下公式值的符号-------权重向量w 乘以 kenel，加上偏置b。

举例来讲，假设有一个正例子，八个负例的支持向量，而且负例支持向量的权重向量w较大，如果一个新需要预测的样本和两者的各种权重乘积差距不大，容易使得w的权重更加在决策函数中计算出来的值为负例。

再想一个极端的例子，假设有一个新的样本需要predict，其跟仅有的一个正例子支持向量非常相似，那么其权重向量w则会非常接近正例子的支持向量，那么其决策函数的值接近正例支持向量的决策函数的值，即为1.

顺便提一下：偏置量b的值，通常在实际计算中取权重w与支持向量x点乘积的和的平均值。

总之：

1. 在alpha值确定的情况下， 权重向量w由alpha x y 能够求得。并且，理论上跟每个样本的alpha/xi/yi 都相关，需要乘积联合求和。

2. 决策函数在w确定的情况下，直接带入求符号为正负号，就可以确定结果。