使用感知机对随机生成数据集进行分类 （线性可分）

学习参考《统计学习方法》

疑惑处如下

每次梯度下降都是针对一个误分类点 而单个误分类点的损失函数为Li(w,b)=-yi*(w*xi+b) 对w与b求完偏导之后即为-xi*yi与-yi

 

代码如下：

import numpy as np
from matplotlib import pyplot as plt

np.random.seed(0)
X=np.r_[np.random.randn(20,2)-[3,3],np.random.randn(20,2)+[3,3]]
Y=20*[-1]+20*[1]


w,b=[0.0,0.0],0.0
step=0.01

while True:
    p=-1
    for i in range(40):
        if Y[i]*(w[0]*X[i][0]+w[1]*X[i][1]+b)<=0:
            p=i
            break
    if p==-1:
        break
    while Y[p]*(w[0]*X[p][0]+w[1]*X[p][1]+b)<=0:
        w[0]=w[0]+step*X[p][0]*Y[p]
        w[1]=w[1]+step*X[p][1]*Y[p]
        b=b+step*Y[p]

plt.title('Perceptron')
plt.xlabel('X0')
plt.ylabel('X1')
for i in range(40):
    if Y[i]==-1:
        plt.scatter(X[i][0],X[i][1],c='b')
    else:
        plt.scatter(X[i][0],X[i][1],c='r')

XX=np.linspace(-10,10)
YY=-(w[0]/w[1])*XX-b/w[1]
plt.plot(XX,YY,'-c',label='Hyperplane')
plt.show()

随机数据及最终超平面如图所示