神经网络（单层感知器）

感知器介绍

感知器是神经网络中的一个概念，在1950s由Frank Rosenblatt第一次引入。

单层感知器是最简单的神经网络。它包含输入层和输出层，而输入层和输出层是直接相连的。与最早提出的MP模型不同，神经元突触权值可变，因此可以通过一定规则进行学习。可以快速、可靠地解决线性可分的问题。

单层感知器由一个线性组合器和一个二值阈值元件组成。

输入向量为x，权重向量为w，w0为偏执。

简单的理解可以解释为：将x0,x1······xn的变量输入，经过组合器的整合，输出1或者-1，也就是通过组合器对输入变量判断其正确与否。

单层感知器

其中偏振因子b，一般会用w0表示，这时会加入一个偏振输入变量x0,不过x0恒等于1

感知器学习规则

取值一般取0-1之间

学习率太大容易造成权值调整不稳定
学习率太小，权值调整太慢，迭代次数太多

程序实现

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1, 3, 3],
              [1, 4, 3],
              [1 ,1, 1],  
              [1, 0, 2]])
#标签
Y = np.array([[1],
              [1],
              [-1],
              [-1]])

#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2

print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0
def update():
    global X,Y,W,lr
    O = np.sign(np.dot(X,W)) # shape:(3,1)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C

for i in range(100):
    update()#更新权值
    print(W)#打印当前权值
    print(i)#打印迭代次数
    O = np.sign(np.dot(X,W))#计算当前输出  
    if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束
        print('Finished')
        print('epoch:',i)
        break

#正样本
x1 = [0,1]
y1 = [1,0]
#负样本
x2 = [0,1]
y2 = [0,1]

#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)

xdata = (-2,3)

plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()