BP神经网络(Back Propagation Neural Network)算法原理推导与Python实现详解
BP神经网络算法推导
给定训练集：
D={(x1,y1),(x2,y2),...,(xm,ym)},xi∈RI,yi∈RO D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , x i ∈ R I , y i ∈ R O ，
即数据有 D D 个特征，标签为 O O 维实值向量。
因此，我们定义一个拥有 I I 个输入层神经元、 O O 个输出层神经元的神经网络，且设该网络的隐藏层神经元个数为 H H 。
其中，隐藏层第 h h 个神经元的阀值用 γh γ h 表示，输出层第 o o 个神经元的阀值用 θo θ o 表示。
输入层第 i i 个神经元与隐藏层第 h h 个神经元之间的连接权重为 νih ν i h ，记隐藏层第 h h 个神经元接收到的输入为 αh=∑Ii=1νihxi α h = ∑ i = 1 I ν i h x i ;
隐藏层第 h h 个神经元与输出层第 o o 个神经元之间的连接权重为 ωho ω h o ，记输出层第 o o 个神经元接收到的输入为 βo=∑Hh=1ωhobh β o = ∑ h = 1 H ω h o b h ，其中 bh b h 为隐藏层第 h h 个神经元的输出。
假设隐藏层和输出层都使用Sigmoid函数作为激活函数
Sigmoid函数:
f(x)=11+e−x f ( x ) = 1 1 + e − x
f′(x)=f(x)(1−f(x)) f ′ ( x ) = f ( x ) ( 1 − f ( x ) )
对于训练集中的一个训练例 k：(x(k),y(k)) k ： ( x ( k ) , y ( k ) ) ，假设神经网络的输出为 ŷ (k)=(y(k)1,y(k)2,...,y(k)3) y ^ ( k ) = ( y 1 ( k ) , y 2 ( k ) , . . . , y 3 ( k ) ) ，则有：
ŷ (k)o=f(β0−θo) y ^ o ( k ) = f ( β 0 − θ o )
其中
f() f ( ) 为Sigmoid函数，
ŷ (k)o y ^ o ( k ) 为训练例
k k 在第
o o 个输出层神经元上的输出。
由此可以得到，神经网络在训练例 k k 上的均方误差为:
Ek=12∑o=1O(ŷ (k)o−y(k)o) E k = 1 2 ∑ o = 1 O ( y ^ o ( k ) − y o ( k ) )
其中
ŷ (k)o y ^ o ( k ) 为训练例
k k 在第
o o 个输出层神经元上的输出，
y(k)o y o ( k ) 为训练例
k k 在第
o o 个输出层神经元上的实际值。
BP是一个迭代学习算法，迭代的每一轮都会对权重进行更新，基于梯度下降算法和链式求导法则，我们可以得到：
1、对隐藏层第 h h 个神经元与输出层第 o o 个神经元之间的连接权重 ωho ω h o 的更新估计式为：
ωho←ωho+Δωho ω h o ← ω h o + Δ ω h o
Δωho=−η∂Ek∂ωho Δ ω h o = − η ∂ E k ∂ ω h o
∂Ek∂ωho=∂Ek∂ŷ (k)o·∂ŷ (k)o∂βo·∂βo∂ωho ∂ E k ∂ ω h o = ∂ E k ∂ y ^ o ( k ) · ∂ y ^ o ( k ) ∂ β o · ∂ β o ∂ ω h o
即：
ωho←ωho−η∂Ek∂ŷ (k)o·∂ŷ (k)o∂βo·∂βo∂ωho ω h o ← ω h o − η ∂ E k ∂ y ^ o ( k ) · ∂ y ^ o ( k ) ∂ β o · ∂ β o ∂ ω h o
其中：
−∂Ek∂ŷ (k)o·∂ŷ (k)o∂βo=−(ŷ (k)o−y(k)o)f′(β0−θo)=ŷ (k)o(1−ŷ (k)o)(y(k)o−ŷ (k)o)① − ∂ E k ∂ y ^ o ( k ) · ∂ y ^ o ( k ) ∂ β o = − ( y ^ o ( k ) − y o ( k ) ) f ′ ( β 0 − θ o ) = y ^ o ( k ) ( 1 − y ^ o ( k ) ) ( y o ( k ) − y ^ o ( k ) ) ①
∂βo∂ωho=bh② ∂ β o ∂ ω h o = b h ②
因此，权重
ωho ω h o 的更新估计式为：
ωho←ωho+η·ŷ (k)o(1−ŷ (k)o)(y(k)o−ŷ (k)o)·bh ω h o ← ω h o + η · y ^ o ( k ) ( 1 − y ^ o ( k ) ) ( y o ( k ) − y ^ o ( k ) ) · b h
2、对输入层第 i i 个神经元与隐藏层第 h h 个神经元之间的连接权重 νih ν i h 的更新估计式为：
νih←νih+Δνih ν i h ← ν i h + Δ ν i h
Δνih=−η∂Ek∂νih Δ ν i h = − η ∂ E k ∂ ν i h
∂Ek∂νih=−∂Ek∂bh·∂bh∂αh·∂αh∂νih ∂ E k ∂ ν i h = − ∂ E k ∂ b h · ∂ b h ∂ α h · ∂ α h ∂ ν i h
即：
νih←νih−η∂Ek∂bh·∂bh∂αh·∂αh∂νih ν i h ← ν i h − η ∂ E k ∂ b h · ∂ b h ∂ α h · ∂ α h ∂ ν i h
其中：
−∂Ek∂bh·∂bh∂αh=−∑o=1O∂Ek∂βo·∂βo∂bhf′(αh−γh)=∑o=1Oωho·ŷ (k)o(1−ŷ (k)o)(y(k)o−ŷ (k)o)·f′(αh−γh)=bh(1−bh)∑o=1Oωho·ŷ (k)o(1−ŷ (k)o)(y(k)o−ŷ (k)o)① − ∂ E k ∂ b h · ∂ b h ∂ α h = − ∑ o = 1 O ∂ E k ∂ β o · ∂ β o ∂ b h f ′ ( α h − γ h ) = ∑ o = 1 O ω h o · y ^ o ( k ) ( 1 − y ^ o ( k ) ) ( y o ( k ) − y ^ o ( k ) ) · f ′ ( α h − γ h ) = b h ( 1 − b h ) ∑ o = 1 O ω h o · y ^ o ( k ) ( 1 − y ^ o ( k ) ) ( y o ( k ) − y ^ o ( k ) ) ①
∂αh∂νih=xi② ∂ α h ∂ ν i h = x i ②
因此，权重
νih ν i h 的更新估计式为：
νih←νih+η·bh(1−bh)∑o=1Oωhoŷ (k)o(1−ŷ (k)o)(y(k)o−ŷ (k)o)·xi ν i h ← ν i h + η · b h ( 1 − b h ) ∑ o = 1 O ω h o y ^ o ( k ) ( 1 − y ^ o ( k ) ) ( y o ( k ) − y ^ o ( k ) ) · x i
BP神经网络Python实现
该神经网络被设置为三层：一层输入层、一层隐藏层、一层输出层
样本集：
| 特征一 | 特征二 | 标签 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
可以看出，这就是一个异或样本集，使用这个样本集可以展现出神经网络与感知机在处理非线性可分问题上的差别。
import math
import random
# 用于设置权重矩阵的大小并给定初始权重
def weight_matrix(row, col, weight=0.0):
weightMat = []
for _ in range(row):
weightMat.append([weight] * col)
return weightMat
# 用于给权重矩阵内的每元素生成一个初始随机权重
def random_weight(parm_1, parm_2):
return (parm_1 - 1) * random.random() + parm_2
# Sigmoid激活函数
def sigmoid(x):
return 1.0 / (1.0 + math.exp(-x))
# Sigmoid激活函数的导函数
def sigmoid_derivate(x):
return x * (1 - x)
# 定义BP神经网络类
class BPNeuralNetwork:
def __init__(self):
# 定义输入层、隐藏层、输出层，所有层的神经元个数都初始化为0
self.input_num, self.hidden_num, self.output_num = 0, 0, 0
# 定义输入层、隐藏层、输出层的值矩阵，并在setup函数中初始化
self.input_values, self.hidden_values, self.output_values = [], [], []
# 定义输入-隐藏层、隐藏-输出层权重矩阵，并在setup函数中设置大小并初始化
self.input_hidden_weights, self.hidden_output_weights = [], []
# 神经网络的初始化函数
# 四个参数分别代表：对象自身、输入层神经元个数、隐藏层神经元个数、输出层神经元个数
def setup(self, input_num, hidden_num, output_num):
# 设置输入层、隐藏层、输出层的神经元个数，其中输入层包含偏置项因此数量+1
self.input_num, self.hidden_num, self.output_num = input_num + 1, hidden_num, output_num
# 初始化输入层、隐藏层、输出层的值矩阵，均初始化为1
self.input_values = [1.0] * self.input_num
self.hidden_values = [1.0] * self.hidden_num
self.output_values = [1.0] * self.output_num
# 设置输入-隐藏层、隐藏-输出层权重矩阵的大小
self.input_hidden_weights = weight_matrix(self.input_num, self.hidden_num)
self.hidden_output_weights = weight_matrix(self.hidden_num, self.output_num)
# 初始化输入-隐藏层、隐藏-输出层的权重矩阵
for i in range(self.input_num):
for h in range(self.hidden_num):
self.input_hidden_weights[i][h] = random_weight(-0.2, 0.2)
for h in range(self.hidden_num):
for o in range(self.output_num):
self.hidden_output_weights[h][0] = random_weight(-0.2, 0.2)
# 神经网络的前向预测
# 两个参数分别代表：对象自身、单个数据
def predict(self, data):
# 将数据放入输入层，-1是由于输入层中的偏置项不需要接收数据
for i in range(self.input_num - 1):
self.input_values[i] = data[i]
# 隐藏层计算
for h in range(self.hidden_num):
# 激活函数的参数
total = 0.0
# 激活函数的参数值由输入层权重和输入层的值确定
for i in range(self.input_num):
total += self.input_values[i] * self.input_hidden_weights[i][h]
# 将经过激活函数处理的输入层的值赋给隐藏层
self.hidden_values[h] = sigmoid(total - 0)
# 输出层计算
for o in range(self.output_num):
total = 0.0
for h in range(self.hidden_num):
total += self.hidden_values[h] * self.hidden_output_weights[h][o]
self.output_values[o] = sigmoid(total - 0)
return self.output_values[:]
# 神经网络的反向传播
# 四个参数分别代表：对象自身、单个数据、数据对应的标签、学习率(步长)
# 本函数皆为数学推导的实现
def back_propagate(self, data, label, learn):
# 反向传播前先进行前向预测
self.predict(data)
# 计算输出层的误差
output_datas = [0.0] * self.output_num
for o in range(self.output_num):
error = label[o] - self.output_values[o]
output_datas[o] = sigmoid_derivate(self.output_values[o]) * error
# 计算隐藏层的误差
hidden_datas = [0.0] * self.hidden_num
for h in range(self.hidden_num):
error = 0.0
for o in range(self.output_num):
error += output_datas[o] * self.hidden_output_weights[h][o]
hidden_datas[h] = sigmoid_derivate(self.hidden_values[h]) * error
# 更新隐藏-输出层权重
for h in range(self.hidden_num):
for o in range(self.output_num):
self.hidden_output_weights[h][o] += learn * output_datas[o] * self.hidden_values[h]
# 更新输入-隐藏层权重
for i in range(self.input_num):
for h in range(self.hidden_num):
self.input_hidden_weights[i][h] += learn * hidden_datas[h] * self.input_values[i]
# 计算样本的均方误差
error = 0
for o in range(len(label)):
error += 0.5 * (label[o] - self.output_values[o]） ** 2
return error
# 神经网络训练函数
# 四个参数分别代表：对象自身、数据集、标签、最大循环次数、学习率、终止误差
def train(self, datas, labels, limit=50000, learn=0.05, stop_error=0.02):
for i in range(limit):
error = 0
for i in range(len(datas)):
data = datas[i]
label = labels[i]
error += self.back_propagate(data, label, learn)
if error <= stop_error:
break
# 神经网络验证函数
def test(self):
# 数据集及其标签
datas = [[0, 0], [0, 1], [1, 0], [1, 1]]
labels = [[0], [1], [1], [0]]
# 调用神经网络的初始化函数并传入参数作为输入层、隐藏层、输出层的神经元个数
# 其中输入层的神经元个数应与数据集的特征数保持一致
self.setup(2, 5, 1)
self.train(datas, labels)
for data in datas:
print(self.predict(data))
# 定义BP神经网络对象并调用其进行预测
if __name__ == '__main__':
nn = BPNeuralNetwork()
nn.test()神经网络训练结果：
[0.018648283776391633]
[0.9754998553712237]
[0.9806999914518663]
[0.02997622156919269]该结果与真实值labels[0, 1, 1, 0]基本类似，可以认为神经网络在预测异或这类非线性可分问题上是有效的。