第四章.神经网络—线性神经网络，Delta学习规则

第四章.神经网络

4.2 线性神经网络与Delta学习规则

线性神经网络在结构上与感知器非常相似，只是激活函数不同。在模型训练时把原来的sign函数改成purelin函数:y = x

1.激活函数

2.线性神经网络示例

1).题目：

• 假设平面坐标系上有四个点，(3,3),(4,3)这两个点是标签1，(1,1),(0,2)这两个点的标签为-1，构建神经网络来分类。

2).思路：

• 我们要分类的数据是一个二维数据，我们只需要两个输入节点，我们可以把神经元的偏置值也设置为一个输入节点，这样我们就有3个输入节点。
  

• 输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)，对应的标签为（1,1,-1,-1），初始化权值为w0,w1,w2取-1到1之间的随机数，学习率η设置为0.11，激活函数为purelin函数

• 斜率(k)和截距(b)的公式推导：
  ①.数据的输入：Xi=[1,xi ,yi ],对应的权重W=[w0 ,w1 ,w2 ]; 求∑ XiWi=0;
  ②.即求：w0 +xiw1 +yiw2 = 0
  ③.所以：yiw2 = -w0 -xiw1
  ④.即：yi= -(w0/w2)-(w1/w2)xi
  ⑤.斜率k=-(w1/w2)
  ⑥.截距b=-(w0/w2)

3).代码：

import numpy as np
import matplotlib.pyplot as plt

# 输入数据
X = np.array([[1, 3, 3], [1, 4, 3], [1, 1, 1], [1, 0, 2]])

# 标签
Y = np.array([[1], [1], [-1], [-1]])

# 随机初始化权重，范围[-1,1]
W = (np.random.random([3, 1]) - 0.5) * 2

# 神经网络输出
Output = 0

# 学习率
lr = 0.11


# 更新权重的函数
def update():
    global X, Y, W, lr
    Output = np.dot(X, W)  # purelin函数：y=x
    Wi = lr * (X.T.dot(Y - Output)) / int(X.shape[0])
    W = W + Wi


# 循环次数
epochs = 100

for i in range(epochs):
    update()

# 正样本
x1 = [3, 4]
y1 = [3, 3]

# 负样本
x2 = [1, 0]
y2 = [1, 2]

# 斜率和截距
k = -W[1] / W[2]
b = -W[0] / W[2]

print('k=', k)
print('b=', b)

x_data = [-2, 3]
y_data = k * x_data + b

# 画图
plt.figure()
plt.scatter(x1, y1, c='b', marker='o')
plt.scatter(x2, y2, c='y', marker='x')
plt.plot(x_data, y_data, 'r')
plt.show()

4).结果展示：

3.Delta学习规则

Delta(δ)学习规则是一种利用梯度下降法一般性的学习规则

1).二次代价函数：

• 误差E是权向量W的函数，我们可以使用梯度下降法来最小化E的值.
  

2).不同维度下梯度下降法示意图：

• 一维情况
  

• 二维情况：
  

3).梯度下降法的问题：

• 学习率(η)难以选取，太大会产生震荡，太小收敛缓慢
  

• 容易存在局部极小值的问题
  

4.解决异或问题的两种方式

1).Madaline可以用一种间接的方式解决线性不可分的问题

• 方法：用多个线性函数对区域进行划分，然后对各个神经元的输出做逻辑运算，如图5-3所示，Madaline用两条直线实现了异或逻辑
  

2).线性神经网络解决线性不可分问题：

• 方法：对神经元添加非线性输入，从而引入非线性成分，这样做会使等效的输入维度变大，如图5-4所示：
  

5.线性神经网络示例-异或问题（第二种方式解决异或问题示例）

1).简易图：

2).斜率(k)和截距(b)的公式推导：

①.数据的输入：Xi=[1,xi ,yi ,…],对应的权重W=[w0 ,w1 ,w2 ,…]; 求∑ XiWi=0;
②.即求：x0w0 +x1w1 +x2w2 +x1²w3 +x1x2w4 +x2²w5 = 0
③.所以：w0 +xw1 +yw2 +x²w3 +xyw4 +y²w5 = 0
④.所以：y²w5 +y(w2 +xw4)+w0+xw1+x²w3 = 0
⑤.求根公式为：y=(-b±√b²-4ac)/2a
⑥.a=w5
⑦.b=w2+xw4
⑧.c=w0+xw1+x²w3

3).代码：

import numpy as np
import matplotlib.pyplot as plt

# 输入数据
X = np.array([[1, 0, 0, 0, 0, 0], [1, 0, 1, 0, 0, 1], [1, 1, 0, 1, 0, 0], [1, 1, 1, 1, 1, 1]])

# 标签
Y = np.array([-1, 1, 1, -1])

# 随机初始化权重
W = (np.random.random(6) - 0.5) * 2
print(W)

# 神经网络输出
Output = 0
Output = 1

# 学习率
lr = 0.11


# 更新权重函数
def update():
    global X, Y, W, lr, n
    Output = np.dot(X, W)  # purelin:y=x
    Wi = lr * (X.T.dot(Y - Output)) / int(X.shape[0])
    W = W + Wi


# 循环次数
epochs = 100
for i in range(epochs):
    update()

Output = np.dot(X, W.T)
print(Output)

# 正样本
x1 = [0, 1]
y1 = [1, 0]

# 负样本
x2 = [0, 1]
y2 = [0, 1]


def calculate(x, root):
    a = W[5]
    b = W[2] + x * W[4]
    c = W[0] + x * W[1] + x * x * W[3]
    if root == 1:
        return (-b + np.sqrt(b * b - 4 * a * c)) / (2 * a)
    if root == 2:
        return (-b - np.sqrt(b * b - 4 * a * c)) / (2 * a)


x_data = np.linspace(-1, 2)
y_data1 = calculate(x_data, 1)
y_data2 = calculate(x_data, 2)

# 画图
plt.figure()
plt.scatter(x1, y1, c='b', marker='o')
plt.scatter(x2, y2, c='y', marker='x')
plt.plot(x_data, y_data1, 'r')
plt.plot(x_data, y_data2, 'r')
plt.show()

4).结果展示：