单层感知器-学习实践

#题目：假设平面坐标系上有三个点，点（3，3）和（4，3）标签为1，（1，1）标签为-1，构建神经网络来分类。

#思路：要分类的数据是2维数据，所以只需要2个输入节点，可以把神经元的偏置值也设置成一个节点，这样就需要3个输入节点。
#     输入数据有3个（1，3，3），（1，4，3），（1，1，1）--这里将偏置值定位1
#     数据对应的标签为（1，1，-1）--可以理解为期望的输出
#     初始化权值W0,W1,W2取-1到1的随机数
#     学习率（learning rate）设置为0.11
#     激活函数为sign函数

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,3,3],[1,4,3],[1,1,1]])
#标签--期望输出
Y = np.array([1,1,-1])
#权值初始化，1行3列，取-1到1的随机数
W = (np.random.random(3)-0.5)*2
print(W)
#学习率
lr = 0.11
#计算迭代次数
n = 0
#神经网络输出
o = 0

def update():
    global X,Y,W,lr,n
    n+=1
    o = np.sign(np.dot(X,W.T))
    W_C = lr*((Y-o.T).dot(X))/(X.shape[0])#权值改变数，这里除掉行数求平均值，因为行数多，权值改变就会很大。
    W = W + W_C 

[ 0.3429031  -0.13234638 -0.07970751]

for  i in range(100):
    update()#更新权值
    print(W)#打印当前权值
    print(n)#打印迭代次数
    o = np.sign(np.dot(X,W.T))#计算当前输出
    if(o == Y.T).all():#如果实际输出等于预期输出，模型收敛，循环结束。
        print('Finished')
        print('epoch',n)
        break
#用图形表示出来
#正样本
x1 = [3,4]
y1 = [3,3]
#负样本
x2 = [1]
y2 = [1]

#计算分界线的斜率以及截距--W0+W1X1+W2X2=0--令X1=x,X2=y--y=-W1/W2*x-W0/W2
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)

xdata = np.linspace(0,5)

plt.figure()
plt.plot(xdata,xdata*k+d,'r')#用红色
plt.plot(x1,y1,'bo')#用蓝色
plt.plot(x2,y2,'yo')#用黄色
plt.show()

[ 0.41623643  0.30765362  0.28695916]
1
[ 0.3429031   0.23432029  0.21362583]
2
[ 0.26956977  0.16098696  0.14029249]
3
[ 0.19623643  0.08765362  0.06695916]
4
[ 0.1229031   0.01432029 -0.00637417]
5
[ 0.04956977 -0.05901304 -0.07970751]
6
[ 0.19623643  0.45432029  0.36029249]
7
[ 0.1229031   0.38098696  0.28695916]
8
[ 0.04956977  0.30765362  0.21362583]
9
[-0.02376357  0.23432029  0.14029249]
10
[-0.0970969   0.16098696  0.06695916]
11
[-0.17043023  0.08765362 -0.00637417]
12
Finished
epoch 12
k= 13.7513705078
d= -26.7376197373

从结果可以看出很好的将蓝色的点和黄色的点分割开来，但有些情况利用单层感知器并不能解决问题，有兴趣的同学可以看下一篇文章：单层感知器的局限用例