【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)

需要源码请点赞关注收藏后评论区留言私信~~~

神经网络的设计灵感来源于生物学上的神经网络。如图所示,每个节点就是一个神经元,神经元与神经元之间的连线表示信息传递的方向。Layer 1表示输入层,Layer 2、Layer 3表示隐藏层,Layer 4表示输出层。我们希望通过神经网络,对输入数据进行某种变换,从而获得期望的输出,换句话说,神经网络就是一种映射,将原数据映射成期望获得的数据。BP算法就是其中的一种映射,下面通过一个具体的例子来演示BP算法的过程

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第1张图片

假设现在的网络层如图 所示,第一层有两个神经元x1、x2,一个截距项c1;第二层有两个神经元y1、y2,一个截距项c2;第三层是输出,有两个神经元h1、h2;每条线上表示神经元之间连接的权重(具体数值如图 1‑2所示),激活函数σ选用Sigmoid函数。Sigmoid函数及其对x的导数如下所示:

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第2张图片

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第3张图片

输入:x_1=0.05, x_2=0.1,目标:输出h1、h2尽可能接近[0.03, 0.05]

1:前向传播

输入层->隐藏层

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第4张图片

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第5张图片 

隐藏层->输出层

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第6张图片 

 

 至此,已经完成了前向传播的过程,此时输出为[0.694,0.718],和期望的输出[0.03, 0.05]相差较大。接下来,通过反向传播,更新每条边上的权值,重新计算输出

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第7张图片

2:反向传播

 计算总误差:均方误差作为我们的总误差函数

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第8张图片

target_outℎ_i表示第i个真实值;out_ℎ_i表示预测值;N取值为2

因为每个权值对误差都产生了影响,我们希望了解每个权值对误差产生了多少影响,可以用整体误差对特定的权值求偏导来实现这一目的。从输出层到隐藏层,共有5个参数需要更新,分别为b11,b12,b21,b22,c2。以b22为例,通过链式法则进行计算,如下式:

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第9张图片

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第10张图片

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第11张图片

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第12张图片

其中ρ表示学习率,本例设定为0.5。同理可得:b_11^new=0.458,b_12^new=0.560,b_21^new=0.658

对于偏置项,求解方法类似,但由于偏置项对于每个神经元的损失都有贡献,所以应为对每个神经元求偏导后再求和。由于最后一项在本例中求导后值为1,一般情况下都为1,故可简化

 

隐藏层->输入层 

方法与“输出层—>隐藏层”类似,但是有一点区别。如图 ,可以发现神经元h1向后就直接输出了,没有再输入下一个神经元,而神经元y1的输出值要输入到神经元h1、h2,导致神经元y1会接受来自h1、h2两个神经元传递的误差,因此h1、h2均要计算

从隐藏层到输入层,共有5个参数需要更新,分别为a11,a12,a21,a22,c1,以a11为例计算

式中几项偏微分均已在输出层—>隐藏层的权值更新中有相应的计算公式

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第13张图片

 同理可得,a_12^new=0.199,a_21^new=0.298,a_22^new=0.398

偏置项的求法与输出层->隐含层方法一致,这里不再赘述,但应注意的是c1的更新与y1、y2、h1、h2均有关系,带入数值可得:c_1^new=0.307

至此,所有参数均已更新完毕

利用更新完毕之后的参数可以计算得到新的输出为[0.667, 0.693] (原来的输出为[0.694, 0.718],目标输出为[0.03, 0.05]) 新的总误差为0.44356(原来的总误差为0.444)

通过新的权值计算,可以发现输出值与目标值逐渐接近,总误差逐渐减小,随着迭代次数的增加,输出值会与目标值高度相近

3:Numpy实现反向传播算法

1:导入数据集

数据集采用sklearn.make_moons()数据集(下图),并借助sklearn包进行数据预处理,数据集可视化如下

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第14张图片

 2:预处理

我们的模型基于梯度下降的优化方式算法,为了让这类算法能更好的优化神经网络,我们需要对数据集进行归一化,我们借用sklearn的库函数完成

重新搭建一个两层的神经网络,如图所示

【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第15张图片

其中X是一个p×q的矩阵。选取交叉熵损失函数作为该神经网络的损失函数。学习率为0.05,采用梯度下降法进行参数更新

对于权重矩阵W及偏置矩阵B,采用随机初始化的方法。W和B的纬度较高时,不易手工初始化。且若W和B初始化为0或者同一个值,会导致在梯度下降的更新过程中梯度保持相等,权值相同,导致不同的隐藏单元都以相同的函数或函数值作为输入,可以通过参数的随机初始化打破这种僵局。
  同时要注意参数初始化应合理,否则会出现梯度消失或梯度爆炸

在实现sigmoid时,当x很大的时候,会存在上溢问题,我们可以使用scipy.expit()实现sigmoid

至此,我们完成了基本框架的搭建,现在我们编写训练模型 我们假定 学习率为0.05

3:训练和测试

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第16张图片

测试集预测结果如下

定义预测函数,在测试集上通过以下代码预测,并将预测结果可视化,可以发现可以较为明显的将数据集分为两类

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第17张图片

误差绘图如下 可见在迭代次数在300次左右时基本已经趋于稳定

 【深度学习基础】反向传播BP算法原理详解及实战演示(附源码)_第18张图片

 最后 部分代码如下

# 导入模块
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from matplotlib.colors import ListedColormap
from sklearn.datasets import make_moons
X, y = make_moons(n_samples=2000, noise=0.4, random_state=None)
# 将数据集可视化
plt.figure(figsize=(8, 8))
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=ListedColormap(['#B22222', '#87CEFA']), edgecolors='k')
# 60%作为训练集,40%作为测试集
from sklearn.model_selection import train_test_split
trainX, ard.fit_transform(trainX)

# 使用标准化器在训练集上的均值和标准差,对测试集进行归一化
testX = standard.transform(testX)# 定义神经网络
# 我们选用较简单的神经网络,它只有两个参数,W(权重矩阵)和 B(偏置矩阵)
def _init_(q):
    # q:W的维度(也就是有 q 个神经元)
    # 我们将 W 与 B 随机初始化
    np.ranB
def train(trainX, trainY, testX, testY, W, B, epochs, flag):
    # trainX: np.ndarray, 训练集, 维度 = (p,q)
    # trainY: np.ndarray, 训练集标签, 维度 = (p, )
    # testX: np.ndarray, 测试集, 维度 = (m,q)
    # testY: np.ndarray, 测试集标签, 维度 = (m, )
    # W:np.ndarray, 权重矩阵, 维度 = (q,)
    # B: np.ndarray, 偏置项, 维度 = (1,)
    # epochs: 迭代次数
    # flag: flag == True 打印损失值\\ flag == False不打印损失值

    train_loss_list = []
    test_loss_list = []
    for i in range(epochs):
        # 训练集
        pred_train_Y = forward(trainX, W, B)
        train_loss = loss_func(trainY, pred_train_Y)
        
        # 测试集
        pred_test_Y = forward(testX, W, B)
        test_loss = loss_func(testY, pred_test_Y)
        
        if flag == True:
            print('the traing loss of %s epoch : %s'%(i+1, train_loss))
            print('the test loss of %s epoch : %s'%(i+1, test_loss))
            print('=========================')
        
        train_loss_list.append(train_loss)
        test_loss_list.append(test_loss)
        
        #反向传播
        backword(W, B, trainY, pred_train_Y, trainX, learning_rate)
    return train_loss_list, test_loss_list
def predict(X, W, B):
    # X: np.ndarray, 训练集, 维度 = (n, m)
    # W: np.ndarray, 参数, 维度 = (m, 1)
    # B: np.ndarray, 参数b, 维度 = (1, )
    
    y_pred = forward(X,W,B)
    n = len(y_pred)
    prediction = np.zeros((n,1))
    for i in range(n):
        if y_pred[i] > 0.5:
            prediction[i,0] = 1
        else:
            prediction[i,0] = 0
    return prediction
def plot_loss(train_loss_list, test_loss_list):
    plt.figure(figsize = (10,8))
    plt.plot(train_loss_list, label='train_loss')
    plt.plot(test_loss_list, label='test_loss')
    
    plt.xlabel('epoch')
    plt.ylabel('loss')
    plt.legend()

创作不易 觉得有帮助请点赞关注收藏~~~

你可能感兴趣的:(深度学习,算法,深度学习,人工智能,神经网络,反向传播算法)