线性可分支持向量机 对偶性形式求解

前言：仅个人小记。https://blog.csdn.net/qq_25847123/article/details/108055404给出了原问题的解法。这里给出支持向量机中凸二次规划问题的对偶解法。不论是对偶还是原问题形式，都是转成二次规划问题，编程角度上来看没太大差别。但从理论角度来看，对偶性形式能够直接凸显出“内积”形式，进而可以很好地引入“核”概念。

对偶形式

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i{\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i \\ \mathsf{s}.\mathsf{t}.\sum _{i=1}^N{\alpha }_i{y}_i=1 \\ {\alpha }_i\ge 0,i=1,2,...,N \end{gathered}$$
求解出${\alpha }^{\ast }$，进而根据下面结论可以得到原始问题的解
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i{\mathbf{x}}_j) \end{gathered}$$其中$j$式对应于某一个大于$0$的${\alpha }_j$即可。进而求出了原始问题的解，进而线性可分支持向量机训练完毕。

注意到在对偶最优化问题中，完全可以把内积${\mathbf{x}}_i\cdot {\mathbf{y}}_j,i,j\in [1,N]$提前计算出来。同时观察到，使用对偶形式训练支持向量机的过程中，对于数据集，只是使用到了求内积运算，而不再有任何其他运算。故而，在后面可以将内积概念广义化，进而推出非线性的支持向量机。

也注意到，对偶形式中目标函数的二次部分可以直接提取出二次型矩阵，并将目标函数写作矩阵形式为
$$\left[\begin{array}{cccc}{\alpha }_1& {\alpha }_2& .& {\alpha }_N\end{array}\right](\frac{1}{2}\left[\begin{array}{cccc}{y}_1{y}_1({\mathbf{x}}_1\cdot {\mathbf{x}}_1)& y_1{y}_2({\mathbf{x}}_1\cdot {\mathbf{x}}_2)& ...& y_1{y}_3({\mathbf{x}}_1\cdot {\mathbf{x}}_3)\\ y_2{y}_1({\mathbf{x}}_2\cdot {\mathbf{x}}_1)& y_2{y}_2({\mathbf{x}}_2\cdot {\mathbf{x}}_2)& ...& y_2{y}_N({\mathbf{x}}_2\cdot {\mathbf{x}}_N)\\ .& .& ...& .\\ y_N{y}_1({\mathbf{x}}_N\cdot {\mathbf{x}}_1)& y_N{y}_2({\mathbf{x}}_N\cdot {\mathbf{x}}_2)& ...& y_N{y}_N({\mathbf{x}}_N\cdot {\mathbf{x}}_N)\end{array}\right]\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ .\\ {\alpha }_N\end{array}\right]-\left[\begin{array}{c}1\\ 1\\ .\\ 1\end{array}\right])$$
记为$${\mathbf{\alpha }}^T(\frac{1}{2}P\mathbf{\alpha }-[1,1,...,1{]}^T)$$
这个式子给出了非常简洁的对偶最优化目标函数的形式。容易看出，整个函数的核心就是那个$P$。

对偶实现

# 使用对偶形式求解

#因为用到所有的数据之间的内积，故而可以将内积计算部分单独提出来
# 所有的内积写作矩阵形式，成为核矩阵
dataset = np.array([[3,3],[4,3],[1,1]])
labels = np.array([1,1,-1])
#T = [(3,3,1),(4,3,1),(1,1,-1)] # 数据集，格式为 (x1,x2,y)，其中y 为标签，取值-1，+1
n = len(dataset)
P = np.zeros((n,n))

for i in range(n):
    for j in range(i+1):
        P[i][j] = labels[i]*labels[j]*np.dot(dataset[i],dataset[j])
        P[j][i] = P[i][j]
        
        
P = cvxopt.matrix(P)

q = cvxopt.matrix([-1.0]*n)


G = -np.identity(n)
G = cvxopt.matrix(G)

h = cvxopt.matrix([0.0]*n)

A = cvxopt.matrix([label*1.0 for label in labels],(1,3))
b = cvxopt.matrix([0.0],(1,1))

sol = cvxopt.solvers.qp(P,q,G,h,A,b)

alpha = sol['x']

print(sol['x'])

# 计算分离超平面
w = np.array([0.0,0.0])
for i in range(n):
    w += alpha[i]*labels[i]*dataset[i]


alphaPos = 0
for i in range(n):
    if alpha[i] > 0:
        alphaPos =i
        break
t = 0
for i in range(n):
    t += alpha[i]*labels[i]*np.dot(dataset[i],dataset[alphaPos])


b = labels[alphaPos]- t

print(w,b)
drawScatterPointsAndLine(dataset,labels,w,b)