机器学习——神经网络（二）:单层感知机异或问题

单层感知机——异或问题

异或问题：

0^0 = 0
0^1 = 1
1^0 = 1
1^1 = 0

代码解释：

• 初始输入为四个点的数据以及偏置bias量
• 学习率设置为0.11
• 迭代次数为100次
• 主要使用了numpy和matplotlib库

代码：

import numpy as np
import matplotlib.pyplot as plt
# 载入数据
x_data = np.array([[1,0,0],
                   [1,0,1],
                   [1,1,0],
                   [1,1,1]])
y_data = np.array([[-1],
                   [1],
                   [1],
                   [-1]])
# 设置权值,3行1列，取值范围为-1~1
w = (np.random.random([3,1])-0.5)*2
print(w)
# 学习率
lr = 0.11
# 神经网络输出
out_rs = 0

def update():
    global x_data,y_data,w,lr   # 使用全局变量，当然也可以使用一个return返回
    out_rs = np.sign(np.dot(x_data,w)) 
    w_c = lr*(x_data.T.dot(y_data-out_rs))/int(x_data.shape[0])
    w = w+w_c
    
for i in range(100):
    update() # 权值更新
    out_rs = np.sign(np.dot(x_data,w)) # 计算当前输出
    print("epoch:",i)
    print("w:",w)
    if(out_rs ==y_data).all():   # 如果当前输出与实际输出相当，模型收敛，循环结束（.all是全部相等的意思）
        print("#####################")
        print("finished")
        print("epoch:",i)
        print("#####################")
        break
# 正样本
x1 = [0,1]
y1 = [1,0]
# 负样本
x2 = [0,1]
y2 = [0,1]

# 计算分界线的斜率以及截距
k = -w[1]/w[2]
b = -w[0]/w[2]
print("k = ",k)
print("b = ",b)

# 绘图，scatter绘点、plot绘制直线
xdata = (0,5)
plt.figure()
plt.plot(xdata,xdata*k+b,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

结果：

单层感知机异或问题结果

解释：
单层感知机的输出为：

$$y(x_1,x_2)=f({\omega }_1\ast x1+{\omega }_2\ast x2-\theta )$$
如果单层感知机可以解决异或问题，其XOR真值映射表为：

(X1,X2）	y
(1,1)	0
(1,0)	1
(0,0)	0
(0,1)	1

则满足以下方程组：

• ${\omega }_1+{\omega }_2-\theta <0$–>$\theta >{\omega }_1+{\omega }_2$
• ${\omega }_1+0-\theta \ge 0$–>$0\ge \theta -{\omega }_1$
• $0+0-\theta <0$–>$\theta >0$
• $0+{\omega }_2-\theta \ge 0$–>$0\ge \theta -{\omega }_2$

这个方程组自相矛盾，没有解，使用单层感知机来训练一个线性模型是没有办法来解决问题的

名侦探柯南——灰原哀