MuXi_J

反向传播算法（BP神经网络）

是谁在耳边，说“信号正向传播，误差反向传播” ？

梦回遥远大三的计算智能课，三年前我可想不到居然有朝一日会重新"预习"它......

每一堂课、一本书，当时只道是寻常，如今不经意想起，忽怀念这些瞬间。所谓成长，正是这些乏味却又鲜活的琐碎；所谓时光，正是这些不经意却弥足深刻的只言片语吧。

一. 相关概念

二. 神经网络通用表示

1. 一个神经元模型

2. 全连接神经网络

三. 前向传播算法

四. 反向传播算法

1. 采用批量梯度下降法获得参数w和b的更新公式

2. 通过链式法则和残差δ的定义求解代价函数的偏导

(1)对于输出层(L层)的权重参数w的偏导

(2)对于隐藏层(l层)的权重参数w的偏导

(3)对输出层和隐藏层的偏置参数b的偏导

(4)公式总结

3.对N个训练样本集用BP算法更新参数的步骤

一. 相关概念

后向传播学习的前馈型神经网络（Back Propagation Feed-forward Neural Network）简称BPNN，不严谨地说BP一般就是BPNN。后向传播是一种学习方法、规则，体现网络的训练过程；前馈型网络是一种结构，体现网络架构。

后向传播 $\neq$ 反馈型网络。常见学习规则除了后向传播还有梯度下降等。

前（正）向传播网络
后（反）向传播网络：反向传播是指通过比较输出层的实际输出和预期的结果，得到误差，然后通过相关的误差方程式调整最后一个隐含层到输出层之间的网络权重，之后从最后一个隐含层向倒数第二隐含层进行误差反馈，调整它们之间的网络权重，以此类推，直到输人层与第一隐含层之间的网络权重调整为止。
前馈型网络：各神经元从输入层开始单向传播，只接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。

反馈型网络：输出层中存在着一个反馈回路到输入层作为输入层的一个输入，也可以自己到自己，可以理解为自控系统方框图中的反馈回路，可用有向循环图或者无向图表示。

二. 神经网络通用表示

1. 一个神经元模型

上图x1,x2,⋯,xi,⋯,xn表示神经元的n个输入，w1,w2,⋯,wi,⋯,wn表示对应输入的权重参数（链接权重），神经元对输入x权重w进行加权求和得到加权输入z，也就是神经元的状态。随后将z传递给激活函数f(⋅)，得到激活值，对于单个神经元，也就是其输出值y。其中激活函数f(⋅)可以为多种激活函数，且激活函数均为非线性函数。

2. 全连接神经网络

在第层神经元，用 $n_{l}$ 表示这层神经元的个数， $i\in \{1,2,...,n_{l}\}$ 。
$x_{1}...x_{n_{l}}$ 为输入，即 $\tiny (x_{1}^{(1)},x_{2}^{(1)},...,x_{i}^{(1)},...,x_{n_{l}}^{(1)})^{T}$ ， $x_{i}$ 表示第 i 个输入。
$y_{1}...y_{n_{l}}$ 为期望输出，即 $\tiny (y_{1}^{(l)},y_{2}^{(l)},...,y_{i}^{(l)},...,y_{n_{l}}^{(l)})^{T}$ ， $y_{i}$ 表示第 i 个期望输出。
$\tiny z^{(l)}=\left( z_{1}^{(l)}, z_{2}^{(l)}, \cdots,z{_{i}}^{(l)},\cdots, z_{n_{l}}^{(l)}\right) ^{T}$ 表示第层的加权输出或神经元状态， $z{_{i}}^{(l)}$ 表示第层的第个神经元的加权输出。
$a^{(l)}=\left( a_{1}^{(l)}, a_{2}^{(l)}, \cdots,a{_{i}}^{(l)},\cdots, a_{n_{l}}^{(l)}\right) ^{T}$ 表示第层的激活输出（实际输出）， $a{_{i}}^{(l)}$ 表示第层的第个神经元的激活输出（实际输出）。
$w{_{ij}}^{(l)}$ 是权重矩阵 $W^{(l)}$ 中的元素，表示前一层层第个神经元的第个加权
表示从上一层到当前层层的偏置。 $b{_{i}}^{(l)}$ 表示当前层第层第个神经元的偏置。

三. 前向传播算法

第2层第1个加权输出 $z{_{1}}^{(2)}=\omega {_{11}}^{(2)}x_{1}+\omega {_{12}}^{(2)}x_{2}+\omega {_{13}}^{(2)}x_{3}+b{_{1}}^{(2)}$

第2层第1个激活值 $a{_{1}}^{(2)}=f(z{_{1}}^{(2)})$

⋯⋯

可总结出，第层神经元的状态及激活值为（z，a，b都是向量形式）：

$\begin{aligned} \boldsymbol{z}^{(l)} &=W^{(l)} \boldsymbol{a}^{(l-1)}+\boldsymbol{b}^{(l)} \\ \boldsymbol{a}^{(l)} &=f\left(\boldsymbol{z}^{(l)}\right) \end{aligned}$

对于 L 层网络，正向传播的前馈型神经网络传递过程如下：

$\tiny [\boldsymbol{x}=\boldsymbol{a}^{(1)} ]\rightarrow [\boldsymbol{a}^{(2)}=f(\boldsymbol{z}^{(2)}) ]\rightarrow \cdots \rightarrow [\boldsymbol{a}^{(l)}=f(\boldsymbol{z}^{(l)}) ]\rightarrow \cdots \rightarrow [\boldsymbol{a}^{(L)}=f(\boldsymbol{z}^{(L)})=\boldsymbol{y}]$

前向传播算法用于计算模型最终的输出结果；后向传播算法用于减小模型输出结果与实际结果之前的误差，通过调整参数权重来优化模型。因此，神经网络，就是通过前向传播与后向传播算法的循环迭代来训练模型，进而进行预测或者分类。

四. 反向传播算法

1. 采用批量梯度下降法获得参数 $\tiny w{_{ij}}^{(l)}$ 和 $\tiny b{_{i}}^{(l)}$ 的更新公式

训练方式为梯度下降法，目的是求使代价函数最小的参数值。具体方法为，一步步地循环重复将参数值更新为：上一次参数 - 代价函数对上一次参数值的导数。每一步更新都用到所有的训练样本叫做批量梯度下降。

用右上标 (k) 表示第 k 个训练的训练集，不表示网络层数，那么个训练集表示为 $\left\{\left(\boldsymbol{x}^{(1)}, \boldsymbol{y}^{(1)}\right),\left(\boldsymbol{x}^{(2)}, \boldsymbol{y}^{(2)}\right), \cdots,\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right), \cdots,\left(\boldsymbol{x}^{(N)}, \boldsymbol{y}^{(N)}\right)\right\}$ ，每个 $\small \boldsymbol{x}$ 和 $\small \boldsymbol{y}$ 都是向量表示。其中 $\tiny k\in \{1,...,N\}$ 。
对于第 k 个训练样本集的输入，在第层，用下标 i 表示第 i 个输出 $\small o_{i}$ 或期望输出 $\small y_{i}$ ，其中 $\tiny i\in \{1,...,N_{l}\}$ 。 $N_{l}$ 维实际输出 $\boldsymbol{o}^{(k)}=(o_{1}^{(k)},o_{2}^{(k)},...,o_{i}^{(k)},...,o_{N_{l}}^{(k)})^{T}$ ， $\tiny N_{l}$ 维期望的输出 $\tiny \boldsymbol{y}^{(k)}=(y_{1}^{(k)},y_{2}^{(k)},...,y_{i}^{(k)},...,y_{N_{l}}^{(k)})^{T}$ 。

对于第 k 个训练数据 $\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right)$ ，训练的误差定义为，这一次的每个期望输出 $\small y_{i}$ 减去实际输出 $\small a_{i}$ ，再将这 $\small N_{l}$ 个项求平方和。也就是说，单个训练样本的代价函数为：

$\tiny E^{(k)}=\frac{1}{2}\left \|\boldsymbol{y}^{(k)}-\boldsymbol{o}^{(k)} \right \| =\frac{1}{2} \sum_{i=1}^{N_{l}}(y{_{i}}^{(k)}-a{_{i}}^{(k)})^{2}$

N个样本训练完成之后，得到所有训练样本的总体（平均）代价为：

$E_{total}=\frac{1}{N}\sum_{k=1}^{N}E^{(k)}$

上标表示又回到第四节之前， $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 右上标表示表示网络层数， $E^{(k)}$ 仍表示为第 k 个训练集。采用批量梯度下降算法，层的参数 $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 的更新公式为如下形式：

$\tiny \begin{aligned} & \boldsymbol{W}^{(l)} =\boldsymbol{W}^{(l)}-\mu \frac{\partial E_{t o t a l}}{\partial \boldsymbol{W}^{(l)}} =\boldsymbol{W}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}} \\ &\boldsymbol{b}^{(l)} =\boldsymbol{b}^{(l)}-\mu \frac{\partial E_{t o t a l}}{\partial \boldsymbol{b}^{(l)}} =\boldsymbol{b}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(l)}} \end{aligned}$

只需通过BP算法求出每个训练集的代价函数 $E^{(k)}$ 对 $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 的偏导数即可得到 $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 的迭代更新公式。

2. 通过链式法则和残差 $\tiny \boldsymbol{\delta}^{l}$ 的定义求解代价函数的偏导

右上标表示表示网络层数，并且去掉第四-1节第k个训练数据集误差 $E^{(k)}$ 的上标，直接记为，是单个训练数据集的误差。

将E展开到 Layer2，有：

$\tiny \begin{aligned} E &=\frac{1}{2}\|\boldsymbol{y}-\boldsymbol{o}\| \\ &=\frac{1}{2}\left\|\boldsymbol{y}-\boldsymbol{a}^{(3)}\right\| \\ &=\frac{1}{2}\left(\left(y_{1}-a_{1}^{(3)}\right)^{2}+\left(y_{2}-a_{2}^{(3)}\right)^{2}\right) \end{aligned}$

其中 $\tiny a_{1}^{(3)}=f(z_{1}^{(3)})=f(w_{11}^{(3)} a_{1}^{(2)}+w_{12}^{(3)} a_{2}^{(2)}+w_{13}^{(3)} a_{3}^{(2)}+b_{1}^{(3)})$

(1)对于输出层(L层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(L)}}$

E 对 $\tiny w_{11}^{(3)}$ 求导，由链式法则形式1 $\tiny \frac{d}{d x} f(g(x))=f^{\prime}(g(x)) g^{\prime}(x)$ ，有：

$\tiny \begin{aligned} \frac{\partial E}{\partial w_{11}^{(3)}} &=\frac{1}{2} \cdot 2\left(y_{1}-a_{1}^{(3)}\right)\left(\frac{\partial y_{1}}{\partial w_{11}^{(3)}}-\frac{\partial a_{1}^{(3)}}{\partial w_{11}^{(3)}}\right) \\& =\frac{1}{2} \cdot 2\left(y_{1}-a_{1}^{(3)}\right)\left(-\frac{\partial a_{1}^{(3)}}{\partial w_{11}^{(3)}}\right) \\ &=\left(y_{1}-a_{1}^{(3)}\right) f^{\prime}\left(z_{1}^{(3)}\right) \left ( - \frac{\partial z_{1}^{(3)}}{\partial w_{11}^{(3)}} \right ) \\ &=-\left(y_{1}-a_{1}^{(3)}\right) f^{\prime}\left(z_{1}^{(3)}\right) a_{1}^{(2)} \quad \quad\quad\quad\cdots[1] \end{aligned}$

E 对 $\tiny w_{11}^{(3)}$ 求导，由链式法则形式2 $\tiny \frac{d u}{d x}=\frac{d u}{d y} \cdot \frac{d y}{d x}$ ，又有：

$\tiny \frac{ \partial E }{\partial \omega {_{ij}}^{(l)}} = \frac{\partial E}{\partial z_{i}^{(l)}} \ast \frac{\partial z_{i}^{(l)}}{\partial \omega {_{ij}}^{(l)}} =\frac{ \partial E}{\partial z_{i}^{(l)}}a{_{j}}^{(l-1)}$ ，即

$\tiny \begin{aligned} \frac{\partial E}{\partial w_{11}^{(3)}} =\frac{\partial E}{\partial z_{1}^{(3)}} \frac{\partial z_{1}^{(3)}}{\partial w_{11}^{(3)}} =\delta_{1}^{(3)} a_{1}^{(2)} \quad \quad\quad\quad\quad\quad\cdots[2] \end{aligned}$

其中，定义： $\tiny \delta_{1}^{(3)}\equiv \frac{\partial E}{\partial z_{1}^{(3)}}$

那么，由 $\tiny [1]$ 和 $\tiny [2]$ ，得：

$\tiny \delta_{1}^{(3)}=\frac{\partial E}{\partial z_{1}^{(3)}}=-\left(y_{1}-a_{1}^{(3)}\right) f^{\prime}\left(z_{1}^{(3)}\right)$

推广到一般情况，设网络层数为 L，有：

$\tiny \begin{aligned} &\frac{\partial E}{\partial w_{i j}^{(L)}}=\delta_{i}^{(L)} a_{j}^{(L-1)} & & \left(1 \leq i \leq n_{L},1 \leq j \leq n_{L-1}\right) \\& {\color{Red} \delta_{i}^{(L)}=-\left(y_{i}-a_{i}^{(L)}\right) f^{\prime}\left(z_{i}^{(L)}\right) } & & \left(1 \leq i \leq n_{L}\right) \quad\quad\quad\quad\quad\quad\quad\quad {\color{Red} \cdots[BP-1]} \end{aligned}$

上两式对应矩阵（向量形式）为：

$\begin{aligned} & \frac{\partial E}{\partial \boldsymbol{W}^{(L)}}=\nabla_{\boldsymbol{W}^{(L)}} E =\boldsymbol{\delta}^{(L)}\left(\boldsymbol{a}^{(L-1)}\right)^{\top}\\& {\color{Red}\boldsymbol{\delta}^{(L)} =-\left(\boldsymbol{y}-\boldsymbol{a}^{(L)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(L)}\right) \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad \cdots[BP-1]} \end{aligned}$

其中矩阵哈德马乘积 $\tiny \bigodot$ 是对应位置元素分别相乘。

(2)对于隐藏层( $\large \boldsymbol{l}$ 层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}}$

由上一节，得:

$\tiny {\color{Red} \frac{\partial E}{\partial w_{i j}^{(l)}}=\delta_{i}^{(l)} a_{j}^{(l-1)}}\quad(2 \leq l \leq L-1) {\color{Red}\quad\quad\quad\quad\quad \cdots[BP-3]}$

向量形式为：

${\color{Red} \frac{\partial E}{\partial \boldsymbol{W}^{(l)}}=\nabla_{\boldsymbol{W}^{(l)}} E =\boldsymbol{\delta}^{(l)}\left(\boldsymbol{a}^{(l-1)}\right)^{\top}} {\color{Red}\quad\quad\quad\quad\quad \cdots[BP-3]}$

而由:

$\small \begin{aligned} \frac{\partial E}{\partial z_{i}^{(l)}} &=\frac{\partial E}{\partial z_{1}^{(l+1)}} \frac{\partial z_{1}^{(l+1)}}{\partial z_{i}^{(l)}}+\frac{\partial E}{\partial z_{2}^{(l+1)}} \frac{\partial z_{2}^{(l+1)}}{\partial z_{i}^{(l)}}+\cdots+\frac{\partial E}{\partial z_{n_{l+1}}^{(l+1)}} \frac{\partial z_{n_{l+1}}^{(l+1)}}{\partial z_{i}^{(l)}} =\sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_{j}^{(l+1)}} \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}} \end{aligned}$

（ $\tiny l+1$ 层的神经元每个 $\tiny z_{j}^{(l+1)}$ 都与 $\tiny z_{j}^{(l)}$ 有联接， $\tiny z_{j}^{(l)}$ 出现了 $\tiny n_{l+1}$ 次，每一次对应一个 $\tiny z_{j}^{(l+1)}, 1 \leq j \leq n_{l+1}$ ）

故：

$\tiny \begin{aligned} \delta_{i}^{(l)} & \equiv \frac{\partial E}{\partial z_{i}^{(l)}} \\ &=\sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_{j}^{(l+1)}} \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}} \\ &=\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}} \end{aligned}$

又因为其中 $\tiny z_{j}^{(l+1)}=\sum_{i=1}^{n_{l}} w_{j i}^{(l+1)} a_{i}^{(l)}+b_{j}^{(l+1)}=\sum_{i=1}^{n_{l}} w_{j i}^{(l+1)} f\left(z_{i}^{(l)}\right)+b_{j}^{(l+1)}$

从而 $\small \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}}=\frac{\partial z_{j}^{(l+1)}}{\partial a_{i}^{(l)}} \frac{\partial a_{i}^{(l)}}{\partial z_{i}^{(l)}}=w_{j i}^{(l+1)} f^{\prime}\left(z_{i}^{(l)}\right)$ ，带入 $\tiny \delta_{i}^{(l)}$ ，得：

$\tiny \begin{aligned} {\color{Red}\delta_{i}^{(l)}} & =\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} w_{j i}^{(l+1)} f^{\prime}\left(z_{i}^{(l)}\right) \\ & {\color{Red} =\left(\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} w_{j i}^{(l+1)}\right) f^{\prime}\left(z_{i}^{(l)}\right)} \quad\quad\quad\quad {\color{Red} \cdots[BP-2]} \end{aligned}$

向量形式：

$\tiny {\color{Red} \boldsymbol{\delta}^{(l)}=\left(\left(\boldsymbol{W}^{(l+1)}\right)^{\top} \boldsymbol{\delta}^{(l+1)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(l)}\right)} \quad\quad\quad\quad {\color{Red} \cdots[BP-2]}$

即利用 $\tiny l+1$ 层的 $\tiny \delta_{j}^{(l+1)}$ 来计算 $\small l$ 层的 $\tiny \delta_{j}^{(l)}$ ，称为误差反向传播。

(3)对输出层和隐藏层的偏置参数b的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(L)}}$ 和 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(l)}}$

$\tiny \begin{aligned} {\color{Red} \frac{\partial E}{\partial b_{i}^{(l)}}} &=\frac{\partial E}{\partial z_{i}^{(l)}} \frac{\partial z_{i}^{(l)}}{b_{i}^{(l)}} \\ &{\color{Red} =\delta_{i}^{(l)}}\quad\quad\quad\quad\quad\quad\quad {\color{Red} \cdots[BP-4]} \end{aligned}$

向量形式：

$\tiny {\color{Red} \frac{\partial E}{\partial \boldsymbol{b}^{(l)}}=\nabla_{\boldsymbol{b}^{(l)}} E={\boldsymbol{\delta}}^{l}}\quad\quad\quad {\color{Red} \cdots[BP-4]}$

(4)公式总结

$\tiny \begin{array}{l}{\delta_{i}^{(L)}=-\left(y_{i}-a_{i}^{(L)}\right) f^{\prime}\left(z_{i}^{(L)}\right)} \quad\quad\quad\quad\cdots[BP-1] \\ {\delta_{i}^{(l)}=\left(\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} w_{j i}^{(l+1)}\right) f^{\prime}\left(z_{i}^{(l)}\right)} \quad\cdots[BP-2] \\ {\frac{\partial E}{\partial w_{i j}^{(l)}}=\delta_{i}^{(l)} a_{j}^{(l-1)}}\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\cdots[BP-3] \\ {\frac{\partial E}{\partial b_{i}^{(l)}}=\delta_{i}^{(l)}}\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\cdots[BP-4] \end{array}$

（其中 $\dpi{300} \tiny \delta_{i}^{(l)}\equiv \frac{\partial E}{\partial z_{i}^{(l)}}$ ）

向量形式：

$\tiny \begin{array}{l}{\boldsymbol{\delta}^{(L)}=-\left(\boldsymbol{y}-\boldsymbol{a}^{(L)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(L)}\right)}\quad\quad\quad\cdots[BP-1] \\ {\boldsymbol{\delta}^{(l)}=\left(\left(\boldsymbol{W}^{(l+1)}\right)^{\top} \boldsymbol{\delta}^{(l+1)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(l)}\right)} \cdots[BP-2] \\ {\nabla_{\boldsymbol{W}^{(l)}} E=\frac{\partial E}{\partial \boldsymbol{W}^{(l)}}=\boldsymbol{\delta}^{(l)}\left(\boldsymbol{a}^{(l-1)}\right)^{\top}}\quad\quad\cdots[BP-3] \\ \nabla_{ \boldsymbol{b}^{(l)}} E={\frac{\partial E}{\partial \boldsymbol{b}^{(l)}}=\boldsymbol{\delta}^{l}}\quad\quad\quad\quad\quad\quad\quad\quad\quad\cdots[BP-4]\end{array}$

3.对N个训练样本集用BP算法更新参数的步骤

初始化参数 $\boldsymbol{W}$ 、 $\tiny \boldsymbol{b}$ 后

Step1. 根据样本集的某个输入样本 $\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right)$ ，利用前向传播算法算出每个神经元的输出z和a，直到输出层

$\tiny \begin{aligned} \boldsymbol{z}^{(l)} &=W^{(l)} \boldsymbol{a}^{(l-1)}+\boldsymbol{b}^{(l)} \\ \boldsymbol{a}^{(l)} &=f\left(\boldsymbol{z}^{(l)}\right) \end{aligned}$

Step2. 由BP算法4个公式求E对参数的偏导数

计算出输出层的 $\tiny \boldsymbol{\delta}^{(L)}$ （由[BP-1]）,再依次计算隐藏层的 $\tiny \boldsymbol{\delta}^{(l)}$ （由[BP-2]）
然后：

Step3. 更新网络权重和偏置

$\tiny \begin{aligned} \boldsymbol{W}^{(l)} &=\boldsymbol{W}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}} \\ \boldsymbol{b}^{(l)} &=\boldsymbol{b}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\boldsymbol{b}^{(l)}} \end{aligned}$

Step4. 判断结束

对于一定的判断结束的准则，比如每个样本的最终输出误差小于可接受的范围或迭代次数达到一定阈值。若不满足，迭代执行Step2、Step3继续对当前样本进行训练，直到当前样本满足条件训练结束。否则，当前样本训练完毕，选取下一样本，转到Step1继续进行训练。

如下图所示：

参考：https://blog.csdn.net/qq_32865355/article/details/80260212

K-means聚类：解锁数据隐藏结构的钥匙陈辰学长 kmeans 聚类机器学习
K-means聚类：解锁数据隐藏结构的钥匙在机器学习的广阔领域中，无监督学习以其独特的魅力吸引了众多研究者和实践者。其中，K-means聚类作为一种经典且实用的无监督学习算法，以其简单高效的特点，广泛应用于市场细分、图像分割和基因聚类等领域。本文将深入探讨K-means聚类的工作原理、应用实例及其在这些领域中的具体应用，旨在揭示其如何智能划分数据，解锁隐藏结构，为相关领域提供精准导航。一、K-me
ACNet：深度学习中的自适应卷积网络新星郎轶诺
ACNet：深度学习中的自适应卷积网络新星项目地址:https://gitcode.com/gh_mirrors/ac/ACNet在深度学习领域，卷积神经网络（CNN）一直是图像处理和计算机视觉任务的核心技术。然而，传统的固定大小的卷积核无法灵活适应不同区域的信息密度。针对这一问题，ACNet（AdaptiveConvolutionNetwork）项目应运而生，它引入了一种新型的自适应卷积层，旨在
与机器学习的邂逅--自适应神经网络结构的深度解析想成为高手499 机器学习与人工智能机器学习神经网络人工智能
引言随着人工智能的发展，神经网络已成为许多应用领域的重要工具。自适应神经网络（AdaptiveNeuralNetworks，ANN）因其出色的学习能力和灵活性，逐渐成为研究的热点。本文将详细探讨自适应神经网络的基本概念、工作原理、关键技术、C++实现示例及其应用案例，最后展望未来的发展趋势。自适应神经网络的基本概念什么是自适应神经网络？自适应神经网络是一种能够根据输入数据的变化和环境的动态特性自动
自适应神经网络架构：原理解析与代码示例 chian-ocean 机器学习神经网络人工智能深度学习
个人主页：chian-ocean文章专栏自适应神经网络结构：深入探讨与代码实现1.引言随着深度学习的不断发展，传统神经网络模型在处理复杂任务时的局限性逐渐显现。固定的网络结构和参数对于动态变化的环境和多样化的数据往往难以适应，导致了过拟合或欠拟合的问题。自适应神经网络（AdaptiveNeuralNetworks,ANN）为此提供了一种新的解决方案，它可以根据数据特征和训练情况自动调整网络结构，从
python多进程编程实例_Python多进程编程multiprocessing代码实例 weixin_39791386 python多进程编程实例
在多线程与多进程的比较这一篇中记录了多进程编程的一种方式.下面记录一下多进程编程的别一种方式,即使用multiprocessing编程importmultiprocessingimporttimedefget_html(n):time.sleep(n)print('subprocess%s'%n)returnnif__name__=='__main__':#多进程编程process=multipr
python打开一个软件并进行操作_模拟试卷 B weixin_39551611
原标题：模拟试卷B一、单项选择题1.关于算法的描述，以下选项中错误的是算法是指解题方案的准确而完整的描述算法具有可行性、确定性、有穷性的基本特征算法的复杂度主要包括时间复杂度和数据复杂度算法的基本要素包括数据对象的运算和操作及算法的控制结构2.关于数据结构的描述，以下选项中正确的是数据结构指相互有关联的数据元素的集合数据的存储结构是指反映数据元素之间逻辑关系的数据结构数据的逻辑结构有顺序、链接、索
工作流开发过程 Dev2010Daily 软件开发基础知识工作 jbpm 引擎 java
1、首先要识别出工作流，即找出候选的工作流。2、可视化流程建模，此处将用到的是jBPM(jBPMGraphicalProcessDesignerGPD)editor3、开发运行时的元件4、布署运行时引擎jBPM提供了多种不同的布署场景：（1）引擎与实例同时使用---jBPMConsole（2）用JAVA类实例来实例化引擎5、实例化运行时实例6、监控和审计
SOA 术语概述，第 2 部分: 开发流程、模型和资产 rochening soa uml ibm eclipse 工作平台
文档选项将此页作为电子邮件发送拓展Tomcat应用下载IBM开源J2EE应用服务器WASCE新版本V1.1级别：初级BertrandPortier([email protected]),IT架构师,IBM,Intel,Microsoft,HP2007年5月23日了解一些基本SOA术语。本文是本系列的第2部分，BertrandPortier将在其中定义一些术语（包括开发流程、模型和资产）并说明为
为什么算法很难掌握浅墨cgz 算法
算法之所以难以掌握，主要是因为以下几个原因：1.抽象性算法是对问题的抽象解决方案，通常不依赖于具体的编程语言或实现细节。初学者可能难以将抽象的逻辑转化为具体的代码。例如，动态规划（DP）的核心思想是将问题分解为子问题并存储中间结果，但这种抽象思维需要大量练习才能掌握。2.数学基础要求许多算法依赖于数学知识，例如：时间复杂度分析：需要理解大O表示法、递归关系等。图论算法：需要了解图的基本概念（如节点
【AI论文】迈向大型推理模型：大型语言模型增强推理综述东临碣石82 人工智能语言模型自然语言处理
摘要：语言长久以来被视为人类推理不可或缺的工具。大型语言模型（LLM）的突破激发了利用这些模型解决复杂推理任务的浓厚研究兴趣。研究人员已经超越了简单的自回归词元生成，引入了“思维”的概念——即代表推理过程中间步骤的词元序列。这一创新范式使LLM能够模仿复杂的人类推理过程，如树搜索和反思性思维。近期，一种新兴的学习推理趋势采用强化学习（RL）来训练LLM掌握推理过程。这种方法通过试错搜索算法自动生成
全面解析NVIDIA显卡：从入门级到旗舰级显卡详解花千树-010 大模型人工智能算法智能电视
在选择显卡时，了解不同显卡的性能和适用场景是非常重要的。无论你是预算有限的入门用户，还是追求极致性能的游戏玩家，亦或是专业的内容创作者和深度学习研究人员，NVIDIA都有适合你的显卡。本篇博文将详细列举NVIDIA显卡的各项配置，从低到高逐一整理，并给出适用的使用场景。入门级显卡NVIDIAGeForceGT1030CUDA核心数:384基础频率:1227MHz加速频率:1468MHz显存:2GB
直播预告丨精度优于AlphaFold，基于深度学习实现生物大分子及其互作的三维结构预测
「MeetAI4S」系列直播第6期将于1月15日19:00准时开播，HyperAI超神经有幸邀请到了南开大学统计与数据科学学院教授郑伟，他本次分享的主题是「AlphaFold3王座未稳，来自学术界的反超：基于深度学习的生物大分子及其互作的三维结构预测」。蛋白质的功能取决于其独特的三维结构，近年来，基于深度学习等人工智能技术的蛋白质结构预测发展迅猛，AlphaFold甚至获得了2024年诺贝尔化学奖
【C++算法笔记】最基础篇------高精度算法孙小健的资料站算法学习笔记 c++算法笔记
个人笔记：只提供学习代码和其步骤思路，仅供参考学习，已提前在相关编译器中提前运行并保证代码运行。为什么要用高精度算法：longlong的存储大小为9*10^19,即超过20位的数字将无法使用基本数据类型存储和计算，所以我们要使用其他方法存储设计。涉及基础知识：基本输入输出，字符串及数组的基本运用基础步骤：1.对字符串s1,s2进行承接2.将a1与a2相加的和存入a33.从左向右进位并出现逆序#in
AI代码生成工具的未来：杨立昆的洞见与AI革命前端
近年来，人工智能（AI）领域取得了令人瞩目的进展，特别是以大型语言模型为代表的AI技术，在自然语言处理、图像生成等领域展现出强大的能力。然而，深度学习先驱杨立昆（YannLeCun）却对现有的AI系统提出了尖锐的批评，他认为目前的AI系统“理解能力远不如猫”，缺乏对真实世界的理解和常识。这引发了人们对AI未来发展方向的思考，也为我们探讨AI代码生成工具，以及AI技术对人类社会的影响提供了新的视角。
AscendC从入门到精通系列（一）初步感知AscendC 人工智能深度学习
1什么是AscendCAscendC是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于AscendC编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。使用AscendC，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。算子开发学习地图：2从helloworld出发感受AscendC2.1使用AscendC写核函数包含核函数的
ATB是什么？人工智能深度学习
1ATB介绍AscendTransformerBoost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为AscendAI处理器，专门为Transformer类模型的训练和推理而设计。ATB加速库采用了一系列优化策略，包括算法优化、硬件优化和软件优化，能够显著提升Transformer模型的训练和推理速度，同时降低能耗和成本。具体来说，ATB加速库通过优化矩阵乘法等核心算子和注意力
【TVM 教程】内联及数学函数
ApacheTVM是一个端到端的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。更多TVM中文文档可访问→https://tvm.hyper.ai/作者：TianqiChen尽管TVM支持基本的算术运算，但很多时候，也需要复杂的内置函数，例如exp取指函数。这些函数是依赖target系统的，并且在不同target平台中可能具有不同的名称。本教程会学习到如何调用这些target-spe
服务稳定性保障的五大误解运维sre
在线服务的稳定性保障一直是运维和技术部门的核心工作之一。但时至今日，这个方向实际仍然有很多基本的概念都没有对齐。今天这篇文章就罗列下那些混淆不清的概念，期望有一天大家沟通时不是鸡同鸭讲，各说各话。误解一：服务可用性听过很多技术分享，看过很多平台的承诺，上来都是讲我们的服务稳定性99.9xx%，但似乎都“忘记”了提供这个稳定性的具体算法和解读。如果没有明确的定义，这个数值其实毫无意义。服务稳定性目标
一个简单的麻将算法长心了么算法 python windows
这个算法主要是帮助计算胡的什么牌跟给一些策略，给出几个测试样例自己体会一下就好了，能够比较快的计算出怎么胡牌，如何快速胡牌，无聊写着玩的。#使用1-9表示筒子，11-19表示条子，21-29表示万子，31表示红中，32表示发财，33表示白板，41-44表示东南西北#样例1:hand=[6,6,7,7,7,8,8,8]#样例2:hand=[6,7,7,7,8,8,8,2]#样例3:hand=[2,3
基于google的libphonenumber包，获取手机号的归属信息：运营商，归属地小哇666 功能模块 java
1pom.xml8.13.262.2201.210com.googlecode.libphonenumberlibphonenumber${libphonenumber.version}com.googlecode.libphonenumbercarrier${libphonenumber.carrier}com.googlecode.libphonenumbergeocoder${libphon
线性回归：从基础到进阶的全面解析 tester Jeffky 大模型线性回归机器学习算法
线性回归：从基础到进阶的全面解析线性回归是机器学习中最基本的算法之一，广泛应用于预测和分析。本文将详细介绍线性回归的基本概念、数学原理、实现方法以及在实际应用中的注意事项。我们将通过丰富的代码示例来展示如何从头开始构建一个简单的线性回归模型，并逐步深入到更复杂的场景。1.线性回归的基本概念1.1什么是线性回归？线性回归是一种用于建模两个或多个变量之间关系的统计方法。它假设因变量（目标变量）与一个或
华为OD机试E卷 --跳马--24年OD统一考试（Java & JS & Python & C & C++）飞码创造者最新华为OD机试题库2024 华为od java javascript python c语言
文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码c++算法源码题目描述马是象棋（包括中国象棋和国际象棋）中的棋子，走法是每步直一格再斜一格，即先横着或者直者走一格，然后再斜着走一个对角线，可进可退，可越过河界，俗称"马走日"字。给定m行n列的棋盘（网格图），棋盘上只有棋子象棋中的棋子“马”，并且每个棋子有等级之分，等级为k的马可以跳1~k步（走
YOLOv9改进，YOLOv9检测头融合，适合目标检测、分割任务挂科边缘 YOLOv9改进目标检测人工智能计算机视觉 YOLO
摘要空间注意力已广泛应用于提升卷积神经网络（CNN）的性能，但它存在一定的局限性。作者提出了一个新的视角，认为空间注意力机制本质上解决了卷积核参数共享的问题。然而，空间注意力生成的注意力图信息对于大尺寸卷积核来说是不足够的。因此，提出了一种新型的注意力机制——感受野注意力（RFA）。现有的空间注意力机制，如卷积块注意力模块（CBAM）和协调注意力（CA），仅关注空间特征，未能完全解决卷积核参数共享
YOLOv8改进，YOLOv8检测头融合RFAConv卷积，并添加小目标检测层（四头检测），适合目标检测、分割等挂科边缘 YOLOv8改进 YOLO 目标检测人工智能计算机视觉深度学习
摘要空间注意力已广泛应用于提升卷积神经网络（CNN）的性能，但它存在一定的局限性。作者提出了一个新的视角，认为空间注意力机制本质上解决了卷积核参数共享的问题。然而，空间注意力生成的注意力图信息对于大尺寸卷积核来说是不足够的。因此，提出了一种新型的注意力机制——感受野注意力（RFA）。现有的空间注意力机制，如卷积块注意力模块（CBAM）和协调注意力（CA），仅关注空间特征，未能完全解决卷积核参数共享
基于YOLOv5、YOLOv8和YOLOv10的自助售货机商品检测：深度学习实践与应用 2025年数学建模美赛 YOLO 深度学习人工智能目标跟踪目标检测
引言自助售货机已经成为现代零售和自动化销售领域的重要组成部分。在自助售货机中，商品的检测与管理至关重要。通过精准的商品检测技术，售货机可以在商品售出后自动更新库存，并提供准确的商品信息反馈。然而，在复杂的环境下进行商品检测是一个具有挑战性的问题，尤其是在商品种类繁多、摆放方式多样以及光照条件变化较大的情况下。近年来，基于深度学习的目标检测算法，特别是YOLO（YouOnlyLookOnce）系列模
SpringBoot使用令牌桶算法+拦截器+自定义注解+自定义异常实现简单的限流 Java精选算法 spring boot 前端后端 java
令牌桶在高并发的情况下，限流是后端常用的手段之一，可以对系统限流、接口限流、用户限流等，本文就使用令牌桶算法+拦截器+自定义注解+自定义异常实现限流的demo。令牌桶思想大小固定的令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗，或者被消耗的速度小于产生的速度，令牌就会不断地增多，直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的最大令牌数永远不会超过桶的大小。然后每个访
【分类】【损失函数】处理类别不平衡：CEFL 和 CEFL2 损失函数的实现与应用丶2136 AI 分类人工智能损失函数
引言在深度学习中的分类问题中，类别不平衡问题是常见的挑战之一。尤其在面部表情分类任务中，不同表情类别的样本数量可能差异较大，比如“开心”表情的样本远远多于“生气”表情。面对这种情况，普通的交叉熵损失函数容易导致模型过拟合到大类样本，忽略少数类样本。为了有效解决类别不平衡问题，Class-balancedExponentialFocalLoss(CEFL)和Class-balancedExponen
【论文投稿】探秘计算机视觉算法：开启智能视觉新时代小周不想卷艾思科蓝学术会议投稿计算机视觉
目录引言一、计算机视觉算法基石：图像基础与预处理二、特征提取：视觉信息的精华萃取三、目标检测：从图像中精准定位目标四、图像分类：识别图像所属类别五、语义分割：理解图像的像素级语义六、计算机视觉算法前沿趋势与挑战引言在当今数字化浪潮中，计算机视觉宛如一颗璀璨的明珠，正深刻地改变着我们与世界的交互方式。从安防监控中的精准识别，到自动驾驶汽车的智能导航；从医疗影像的辅助诊断，到工业生产中的缺陷检测，计算
递归算法实践--到仓合单助力京东物流提效增收程序员
作者：京东物流李硕#一、背景京东物流到仓业务「对商家」为了减少商家按照京东采购单分货备货过程，对齐行业直接按照流向交接，提升商家满意度；「对京东」揽收操作APP提效；到仓合单功能应运而生；二、问题一次批量采购单（一次50或者100个采购单）需要根据不同的规则合并成多个订单；每一个采购单可以是不同的来源类型（自营和非自营）、不同的收货类型，每一个采购单会有多个SKU，同一个SKU只有一个等级，一批采
交叉熵损失函数（Cross-Entropy Loss）我叫罗泽南深度学习人工智能
原理交叉熵损失函数是深度学习中分类问题常用的损失函数，特别适用于多分类问题。它通过度量预测分布与真实分布之间的差异，来衡量模型输出的准确性。交叉熵的数学公式交叉熵的定义如下：CrossEntroyLoss=−∑i=1Nyi⋅log(y^i)\begin{equation}CrossEntroyLoss=-\sum_{i=1}^{N}y_i\cdotlog(\hat{y}_i)\end{equati
深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation 元注解自定义注解
一、基本概述　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
mysql优化特定类型的查询 annan211 java 工作 mysql
本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。在统
MAC下安装多版本JDK和切换几种方式棋子chessman jdk
环境： MAC AIR,OS X 10.10,64位历史：过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。在终端中输入jav
javaScript （1） Array_06 JavaScript java 浏览器
JavaScript 1、运算符　　运算符就是完成操作的一系列符号，它有七类：　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
国内顶级代码分享网站袁潇含 java jdk oracle .net PHP
现在国内很多开源网站感觉都是为了利益而做的当然利益是肯定的,否则谁也不会免费的去做网站 &
Elasticsearch、MongoDB和Hadoop比较随意而生 mongodb hadoop 搜索引擎
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
mac os 系统科研软件总结张亚雄 mac os
1.1 Microsoft Office for Mac 2011 大客户版，自行搜索。 1.2 Latex （MacTex）: 系统环境：https://tug.org/mactex/ &nb
Maven实战（四）生命周期 AdyZhang maven
1. 三套生命周期 Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
Linux下Jenkins迁移 aijuans Jenkins
1. 将Jenkins程序目录copy过去源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面 tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
request.getInputStream()只能获取一次的问题 ayaoxinchao request Inputstream
问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重
数据库SQL优化大总结之百万级数据库优化方案 BigBird2012 SQL优化
网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where
jsonObject的使用 bijian1013 java json
在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap;
[Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper
Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher， /** * Register a watcher for a particular p
【Scala十三】Scala核心七：部分应用函数 bit1129 scala
何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
Tomcat Error listenerStart 终极大法 ronin47 tomcat
Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码 handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
不用加减符号实现加减法 BrokenDreams 实现
今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。
读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化如果在
CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA
调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！所以验证结果的正确性很重要！！！在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。以下程序在K5000GPU上跑的。
诡异的超长时间GC问题定位 chenchao051 jvm cms GC hbase swap
HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
maven环境快速搭建 daizj 安装 mavne 环境配置
一下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView
public function searchWithRelated() { $criteria = new CDbCriteria; $criteria->together = true; //without th
Java集合对象和数组对象的转换 dyy_gusi java集合
在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
nginx同一主机部署多个应用 geeksun nginx
近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1. 在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts 2. 修改nginx.conf的配置，在http节点增加下面内容设置，用来包含vhosts里的配置文件 #
ubuntu添加admin权限的用户账号 hongtoushizi ubuntu useradd
ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd 使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。顾应该如下操作：
第五章常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginx lua
JSON库在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timer quartz 定时器
原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时首先继承jav
Linux下df与du两个命令的差别？ pda158 linux
　一、df显示文件系统的使用情况，与du比較，就是更全盘化。　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。　　举比例如以下：　　[root@localhost ~]# df -T 　　Filesystem Type &n
[转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VO android sqlite 反射 Cursor
在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。使用时需要注意：考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
该学习笔记用到的Employee表 vipbooks oracle sql 工作
这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓

反向传播算法（BP神经网络）

一. 相关概念

​二. 神经网络通用表示

1. 一个神经元模型

2. 全连接神经网络

三. 前向传播算法

四. 反向传播算法

1. 采用批量梯度下降法获得参数和的更新公式

2. 通过链式法则和残差 的定义求解代价函数的偏导

(1)对于输出层(L层)的权重参数w的偏导

(2)对于隐藏层(层)的权重参数w的偏导

(3)对输出层和隐藏层的偏置参数b的偏导和

(4)公式总结

3.对N个训练样本集用BP算法更新参数的步骤

你可能感兴趣的:(深度学习,反向传播算法,BP神经网络,BP算法)

二. 神经网络通用表示

1. 采用批量梯度下降法获得参数 $\tiny w{_{ij}}^{(l)}$ 和 $\tiny b{_{i}}^{(l)}$ 的更新公式

2. 通过链式法则和残差 $\tiny \boldsymbol{\delta}^{l}$ 的定义求解代价函数的偏导

(1)对于输出层(L层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(L)}}$

(2)对于隐藏层( $\large \boldsymbol{l}$ 层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}}$

(3)对输出层和隐藏层的偏置参数b的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(L)}}$ 和 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(l)}}$