MuXi_J

反向传播算法（BP神经网络）

是谁在耳边，说“信号正向传播，误差反向传播” ？

梦回遥远大三的计算智能课，三年前我可想不到居然有朝一日会重新"预习"它......

每一堂课、一本书，当时只道是寻常，如今不经意想起，忽怀念这些瞬间。所谓成长，正是这些乏味却又鲜活的琐碎；所谓时光，正是这些不经意却弥足深刻的只言片语吧。

一. 相关概念

二. 神经网络通用表示

1. 一个神经元模型

2. 全连接神经网络

三. 前向传播算法

四. 反向传播算法

1. 采用批量梯度下降法获得参数w和b的更新公式

2. 通过链式法则和残差δ的定义求解代价函数的偏导

(1)对于输出层(L层)的权重参数w的偏导

(2)对于隐藏层(l层)的权重参数w的偏导

(3)对输出层和隐藏层的偏置参数b的偏导

(4)公式总结

3.对N个训练样本集用BP算法更新参数的步骤

一. 相关概念

后向传播学习的前馈型神经网络（Back Propagation Feed-forward Neural Network）简称BPNN，不严谨地说BP一般就是BPNN。后向传播是一种学习方法、规则，体现网络的训练过程；前馈型网络是一种结构，体现网络架构。

后向传播 $\neq$ 反馈型网络。常见学习规则除了后向传播还有梯度下降等。

前（正）向传播网络
后（反）向传播网络：反向传播是指通过比较输出层的实际输出和预期的结果，得到误差，然后通过相关的误差方程式调整最后一个隐含层到输出层之间的网络权重，之后从最后一个隐含层向倒数第二隐含层进行误差反馈，调整它们之间的网络权重，以此类推，直到输人层与第一隐含层之间的网络权重调整为止。
前馈型网络：各神经元从输入层开始单向传播，只接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。

反馈型网络：输出层中存在着一个反馈回路到输入层作为输入层的一个输入，也可以自己到自己，可以理解为自控系统方框图中的反馈回路，可用有向循环图或者无向图表示。

二. 神经网络通用表示

1. 一个神经元模型

上图x1,x2,⋯,xi,⋯,xn表示神经元的n个输入，w1,w2,⋯,wi,⋯,wn表示对应输入的权重参数（链接权重），神经元对输入x权重w进行加权求和得到加权输入z，也就是神经元的状态。随后将z传递给激活函数f(⋅)，得到激活值，对于单个神经元，也就是其输出值y。其中激活函数f(⋅)可以为多种激活函数，且激活函数均为非线性函数。

2. 全连接神经网络

在第层神经元，用 $n_{l}$ 表示这层神经元的个数， $i\in \{1,2,...,n_{l}\}$ 。
$x_{1}...x_{n_{l}}$ 为输入，即 $\tiny (x_{1}^{(1)},x_{2}^{(1)},...,x_{i}^{(1)},...,x_{n_{l}}^{(1)})^{T}$ ， $x_{i}$ 表示第 i 个输入。
$y_{1}...y_{n_{l}}$ 为期望输出，即 $\tiny (y_{1}^{(l)},y_{2}^{(l)},...,y_{i}^{(l)},...,y_{n_{l}}^{(l)})^{T}$ ， $y_{i}$ 表示第 i 个期望输出。
$\tiny z^{(l)}=\left( z_{1}^{(l)}, z_{2}^{(l)}, \cdots,z{_{i}}^{(l)},\cdots, z_{n_{l}}^{(l)}\right) ^{T}$ 表示第层的加权输出或神经元状态， $z{_{i}}^{(l)}$ 表示第层的第个神经元的加权输出。
$a^{(l)}=\left( a_{1}^{(l)}, a_{2}^{(l)}, \cdots,a{_{i}}^{(l)},\cdots, a_{n_{l}}^{(l)}\right) ^{T}$ 表示第层的激活输出（实际输出）， $a{_{i}}^{(l)}$ 表示第层的第个神经元的激活输出（实际输出）。
$w{_{ij}}^{(l)}$ 是权重矩阵 $W^{(l)}$ 中的元素，表示前一层层第个神经元的第个加权
表示从上一层到当前层层的偏置。 $b{_{i}}^{(l)}$ 表示当前层第层第个神经元的偏置。

三. 前向传播算法

第2层第1个加权输出 $z{_{1}}^{(2)}=\omega {_{11}}^{(2)}x_{1}+\omega {_{12}}^{(2)}x_{2}+\omega {_{13}}^{(2)}x_{3}+b{_{1}}^{(2)}$

第2层第1个激活值 $a{_{1}}^{(2)}=f(z{_{1}}^{(2)})$

⋯⋯

可总结出，第层神经元的状态及激活值为（z，a，b都是向量形式）：

$\begin{aligned} \boldsymbol{z}^{(l)} &=W^{(l)} \boldsymbol{a}^{(l-1)}+\boldsymbol{b}^{(l)} \\ \boldsymbol{a}^{(l)} &=f\left(\boldsymbol{z}^{(l)}\right) \end{aligned}$

对于 L 层网络，正向传播的前馈型神经网络传递过程如下：

$\tiny [\boldsymbol{x}=\boldsymbol{a}^{(1)} ]\rightarrow [\boldsymbol{a}^{(2)}=f(\boldsymbol{z}^{(2)}) ]\rightarrow \cdots \rightarrow [\boldsymbol{a}^{(l)}=f(\boldsymbol{z}^{(l)}) ]\rightarrow \cdots \rightarrow [\boldsymbol{a}^{(L)}=f(\boldsymbol{z}^{(L)})=\boldsymbol{y}]$

前向传播算法用于计算模型最终的输出结果；后向传播算法用于减小模型输出结果与实际结果之前的误差，通过调整参数权重来优化模型。因此，神经网络，就是通过前向传播与后向传播算法的循环迭代来训练模型，进而进行预测或者分类。

四. 反向传播算法

1. 采用批量梯度下降法获得参数 $\tiny w{_{ij}}^{(l)}$ 和 $\tiny b{_{i}}^{(l)}$ 的更新公式

训练方式为梯度下降法，目的是求使代价函数最小的参数值。具体方法为，一步步地循环重复将参数值更新为：上一次参数 - 代价函数对上一次参数值的导数。每一步更新都用到所有的训练样本叫做批量梯度下降。

用右上标 (k) 表示第 k 个训练的训练集，不表示网络层数，那么个训练集表示为 $\left\{\left(\boldsymbol{x}^{(1)}, \boldsymbol{y}^{(1)}\right),\left(\boldsymbol{x}^{(2)}, \boldsymbol{y}^{(2)}\right), \cdots,\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right), \cdots,\left(\boldsymbol{x}^{(N)}, \boldsymbol{y}^{(N)}\right)\right\}$ ，每个 $\small \boldsymbol{x}$ 和 $\small \boldsymbol{y}$ 都是向量表示。其中 $\tiny k\in \{1,...,N\}$ 。
对于第 k 个训练样本集的输入，在第层，用下标 i 表示第 i 个输出 $\small o_{i}$ 或期望输出 $\small y_{i}$ ，其中 $\tiny i\in \{1,...,N_{l}\}$ 。 $N_{l}$ 维实际输出 $\boldsymbol{o}^{(k)}=(o_{1}^{(k)},o_{2}^{(k)},...,o_{i}^{(k)},...,o_{N_{l}}^{(k)})^{T}$ ， $\tiny N_{l}$ 维期望的输出 $\tiny \boldsymbol{y}^{(k)}=(y_{1}^{(k)},y_{2}^{(k)},...,y_{i}^{(k)},...,y_{N_{l}}^{(k)})^{T}$ 。

对于第 k 个训练数据 $\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right)$ ，训练的误差定义为，这一次的每个期望输出 $\small y_{i}$ 减去实际输出 $\small a_{i}$ ，再将这 $\small N_{l}$ 个项求平方和。也就是说，单个训练样本的代价函数为：

$\tiny E^{(k)}=\frac{1}{2}\left \|\boldsymbol{y}^{(k)}-\boldsymbol{o}^{(k)} \right \| =\frac{1}{2} \sum_{i=1}^{N_{l}}(y{_{i}}^{(k)}-a{_{i}}^{(k)})^{2}$

N个样本训练完成之后，得到所有训练样本的总体（平均）代价为：

$E_{total}=\frac{1}{N}\sum_{k=1}^{N}E^{(k)}$

上标表示又回到第四节之前， $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 右上标表示表示网络层数， $E^{(k)}$ 仍表示为第 k 个训练集。采用批量梯度下降算法，层的参数 $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 的更新公式为如下形式：

$\tiny \begin{aligned} & \boldsymbol{W}^{(l)} =\boldsymbol{W}^{(l)}-\mu \frac{\partial E_{t o t a l}}{\partial \boldsymbol{W}^{(l)}} =\boldsymbol{W}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}} \\ &\boldsymbol{b}^{(l)} =\boldsymbol{b}^{(l)}-\mu \frac{\partial E_{t o t a l}}{\partial \boldsymbol{b}^{(l)}} =\boldsymbol{b}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(l)}} \end{aligned}$

只需通过BP算法求出每个训练集的代价函数 $E^{(k)}$ 对 $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 的偏导数即可得到 $\boldsymbol{W}^{(l)}$ 和 $\boldsymbol{b}^{(l)}$ 的迭代更新公式。

2. 通过链式法则和残差 $\tiny \boldsymbol{\delta}^{l}$ 的定义求解代价函数的偏导

右上标表示表示网络层数，并且去掉第四-1节第k个训练数据集误差 $E^{(k)}$ 的上标，直接记为，是单个训练数据集的误差。

将E展开到 Layer2，有：

$\tiny \begin{aligned} E &=\frac{1}{2}\|\boldsymbol{y}-\boldsymbol{o}\| \\ &=\frac{1}{2}\left\|\boldsymbol{y}-\boldsymbol{a}^{(3)}\right\| \\ &=\frac{1}{2}\left(\left(y_{1}-a_{1}^{(3)}\right)^{2}+\left(y_{2}-a_{2}^{(3)}\right)^{2}\right) \end{aligned}$

其中 $\tiny a_{1}^{(3)}=f(z_{1}^{(3)})=f(w_{11}^{(3)} a_{1}^{(2)}+w_{12}^{(3)} a_{2}^{(2)}+w_{13}^{(3)} a_{3}^{(2)}+b_{1}^{(3)})$

(1)对于输出层(L层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(L)}}$

E 对 $\tiny w_{11}^{(3)}$ 求导，由链式法则形式1 $\tiny \frac{d}{d x} f(g(x))=f^{\prime}(g(x)) g^{\prime}(x)$ ，有：

$\tiny \begin{aligned} \frac{\partial E}{\partial w_{11}^{(3)}} &=\frac{1}{2} \cdot 2\left(y_{1}-a_{1}^{(3)}\right)\left(\frac{\partial y_{1}}{\partial w_{11}^{(3)}}-\frac{\partial a_{1}^{(3)}}{\partial w_{11}^{(3)}}\right) \\& =\frac{1}{2} \cdot 2\left(y_{1}-a_{1}^{(3)}\right)\left(-\frac{\partial a_{1}^{(3)}}{\partial w_{11}^{(3)}}\right) \\ &=\left(y_{1}-a_{1}^{(3)}\right) f^{\prime}\left(z_{1}^{(3)}\right) \left ( - \frac{\partial z_{1}^{(3)}}{\partial w_{11}^{(3)}} \right ) \\ &=-\left(y_{1}-a_{1}^{(3)}\right) f^{\prime}\left(z_{1}^{(3)}\right) a_{1}^{(2)} \quad \quad\quad\quad\cdots[1] \end{aligned}$

E 对 $\tiny w_{11}^{(3)}$ 求导，由链式法则形式2 $\tiny \frac{d u}{d x}=\frac{d u}{d y} \cdot \frac{d y}{d x}$ ，又有：

$\tiny \frac{ \partial E }{\partial \omega {_{ij}}^{(l)}} = \frac{\partial E}{\partial z_{i}^{(l)}} \ast \frac{\partial z_{i}^{(l)}}{\partial \omega {_{ij}}^{(l)}} =\frac{ \partial E}{\partial z_{i}^{(l)}}a{_{j}}^{(l-1)}$ ，即

$\tiny \begin{aligned} \frac{\partial E}{\partial w_{11}^{(3)}} =\frac{\partial E}{\partial z_{1}^{(3)}} \frac{\partial z_{1}^{(3)}}{\partial w_{11}^{(3)}} =\delta_{1}^{(3)} a_{1}^{(2)} \quad \quad\quad\quad\quad\quad\cdots[2] \end{aligned}$

其中，定义： $\tiny \delta_{1}^{(3)}\equiv \frac{\partial E}{\partial z_{1}^{(3)}}$

那么，由 $\tiny [1]$ 和 $\tiny [2]$ ，得：

$\tiny \delta_{1}^{(3)}=\frac{\partial E}{\partial z_{1}^{(3)}}=-\left(y_{1}-a_{1}^{(3)}\right) f^{\prime}\left(z_{1}^{(3)}\right)$

推广到一般情况，设网络层数为 L，有：

$\tiny \begin{aligned} &\frac{\partial E}{\partial w_{i j}^{(L)}}=\delta_{i}^{(L)} a_{j}^{(L-1)} & & \left(1 \leq i \leq n_{L},1 \leq j \leq n_{L-1}\right) \\& {\color{Red} \delta_{i}^{(L)}=-\left(y_{i}-a_{i}^{(L)}\right) f^{\prime}\left(z_{i}^{(L)}\right) } & & \left(1 \leq i \leq n_{L}\right) \quad\quad\quad\quad\quad\quad\quad\quad {\color{Red} \cdots[BP-1]} \end{aligned}$

上两式对应矩阵（向量形式）为：

$\begin{aligned} & \frac{\partial E}{\partial \boldsymbol{W}^{(L)}}=\nabla_{\boldsymbol{W}^{(L)}} E =\boldsymbol{\delta}^{(L)}\left(\boldsymbol{a}^{(L-1)}\right)^{\top}\\& {\color{Red}\boldsymbol{\delta}^{(L)} =-\left(\boldsymbol{y}-\boldsymbol{a}^{(L)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(L)}\right) \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad \cdots[BP-1]} \end{aligned}$

其中矩阵哈德马乘积 $\tiny \bigodot$ 是对应位置元素分别相乘。

(2)对于隐藏层( $\large \boldsymbol{l}$ 层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}}$

由上一节，得:

$\tiny {\color{Red} \frac{\partial E}{\partial w_{i j}^{(l)}}=\delta_{i}^{(l)} a_{j}^{(l-1)}}\quad(2 \leq l \leq L-1) {\color{Red}\quad\quad\quad\quad\quad \cdots[BP-3]}$

向量形式为：

${\color{Red} \frac{\partial E}{\partial \boldsymbol{W}^{(l)}}=\nabla_{\boldsymbol{W}^{(l)}} E =\boldsymbol{\delta}^{(l)}\left(\boldsymbol{a}^{(l-1)}\right)^{\top}} {\color{Red}\quad\quad\quad\quad\quad \cdots[BP-3]}$

而由:

$\small \begin{aligned} \frac{\partial E}{\partial z_{i}^{(l)}} &=\frac{\partial E}{\partial z_{1}^{(l+1)}} \frac{\partial z_{1}^{(l+1)}}{\partial z_{i}^{(l)}}+\frac{\partial E}{\partial z_{2}^{(l+1)}} \frac{\partial z_{2}^{(l+1)}}{\partial z_{i}^{(l)}}+\cdots+\frac{\partial E}{\partial z_{n_{l+1}}^{(l+1)}} \frac{\partial z_{n_{l+1}}^{(l+1)}}{\partial z_{i}^{(l)}} =\sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_{j}^{(l+1)}} \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}} \end{aligned}$

（ $\tiny l+1$ 层的神经元每个 $\tiny z_{j}^{(l+1)}$ 都与 $\tiny z_{j}^{(l)}$ 有联接， $\tiny z_{j}^{(l)}$ 出现了 $\tiny n_{l+1}$ 次，每一次对应一个 $\tiny z_{j}^{(l+1)}, 1 \leq j \leq n_{l+1}$ ）

故：

$\tiny \begin{aligned} \delta_{i}^{(l)} & \equiv \frac{\partial E}{\partial z_{i}^{(l)}} \\ &=\sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_{j}^{(l+1)}} \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}} \\ &=\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}} \end{aligned}$

又因为其中 $\tiny z_{j}^{(l+1)}=\sum_{i=1}^{n_{l}} w_{j i}^{(l+1)} a_{i}^{(l)}+b_{j}^{(l+1)}=\sum_{i=1}^{n_{l}} w_{j i}^{(l+1)} f\left(z_{i}^{(l)}\right)+b_{j}^{(l+1)}$

从而 $\small \frac{\partial z_{j}^{(l+1)}}{\partial z_{i}^{(l)}}=\frac{\partial z_{j}^{(l+1)}}{\partial a_{i}^{(l)}} \frac{\partial a_{i}^{(l)}}{\partial z_{i}^{(l)}}=w_{j i}^{(l+1)} f^{\prime}\left(z_{i}^{(l)}\right)$ ，带入 $\tiny \delta_{i}^{(l)}$ ，得：

$\tiny \begin{aligned} {\color{Red}\delta_{i}^{(l)}} & =\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} w_{j i}^{(l+1)} f^{\prime}\left(z_{i}^{(l)}\right) \\ & {\color{Red} =\left(\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} w_{j i}^{(l+1)}\right) f^{\prime}\left(z_{i}^{(l)}\right)} \quad\quad\quad\quad {\color{Red} \cdots[BP-2]} \end{aligned}$

向量形式：

$\tiny {\color{Red} \boldsymbol{\delta}^{(l)}=\left(\left(\boldsymbol{W}^{(l+1)}\right)^{\top} \boldsymbol{\delta}^{(l+1)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(l)}\right)} \quad\quad\quad\quad {\color{Red} \cdots[BP-2]}$

即利用 $\tiny l+1$ 层的 $\tiny \delta_{j}^{(l+1)}$ 来计算 $\small l$ 层的 $\tiny \delta_{j}^{(l)}$ ，称为误差反向传播。

(3)对输出层和隐藏层的偏置参数b的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(L)}}$ 和 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(l)}}$

$\tiny \begin{aligned} {\color{Red} \frac{\partial E}{\partial b_{i}^{(l)}}} &=\frac{\partial E}{\partial z_{i}^{(l)}} \frac{\partial z_{i}^{(l)}}{b_{i}^{(l)}} \\ &{\color{Red} =\delta_{i}^{(l)}}\quad\quad\quad\quad\quad\quad\quad {\color{Red} \cdots[BP-4]} \end{aligned}$

向量形式：

$\tiny {\color{Red} \frac{\partial E}{\partial \boldsymbol{b}^{(l)}}=\nabla_{\boldsymbol{b}^{(l)}} E={\boldsymbol{\delta}}^{l}}\quad\quad\quad {\color{Red} \cdots[BP-4]}$

(4)公式总结

$\tiny \begin{array}{l}{\delta_{i}^{(L)}=-\left(y_{i}-a_{i}^{(L)}\right) f^{\prime}\left(z_{i}^{(L)}\right)} \quad\quad\quad\quad\cdots[BP-1] \\ {\delta_{i}^{(l)}=\left(\sum_{j=1}^{n_{l+1}} \delta_{j}^{(l+1)} w_{j i}^{(l+1)}\right) f^{\prime}\left(z_{i}^{(l)}\right)} \quad\cdots[BP-2] \\ {\frac{\partial E}{\partial w_{i j}^{(l)}}=\delta_{i}^{(l)} a_{j}^{(l-1)}}\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\cdots[BP-3] \\ {\frac{\partial E}{\partial b_{i}^{(l)}}=\delta_{i}^{(l)}}\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\cdots[BP-4] \end{array}$

（其中 $\dpi{300} \tiny \delta_{i}^{(l)}\equiv \frac{\partial E}{\partial z_{i}^{(l)}}$ ）

向量形式：

$\tiny \begin{array}{l}{\boldsymbol{\delta}^{(L)}=-\left(\boldsymbol{y}-\boldsymbol{a}^{(L)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(L)}\right)}\quad\quad\quad\cdots[BP-1] \\ {\boldsymbol{\delta}^{(l)}=\left(\left(\boldsymbol{W}^{(l+1)}\right)^{\top} \boldsymbol{\delta}^{(l+1)}\right) \odot f^{\prime}\left(\boldsymbol{z}^{(l)}\right)} \cdots[BP-2] \\ {\nabla_{\boldsymbol{W}^{(l)}} E=\frac{\partial E}{\partial \boldsymbol{W}^{(l)}}=\boldsymbol{\delta}^{(l)}\left(\boldsymbol{a}^{(l-1)}\right)^{\top}}\quad\quad\cdots[BP-3] \\ \nabla_{ \boldsymbol{b}^{(l)}} E={\frac{\partial E}{\partial \boldsymbol{b}^{(l)}}=\boldsymbol{\delta}^{l}}\quad\quad\quad\quad\quad\quad\quad\quad\quad\cdots[BP-4]\end{array}$

3.对N个训练样本集用BP算法更新参数的步骤

初始化参数 $\boldsymbol{W}$ 、 $\tiny \boldsymbol{b}$ 后

Step1. 根据样本集的某个输入样本 $\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right)$ ，利用前向传播算法算出每个神经元的输出z和a，直到输出层

$\tiny \begin{aligned} \boldsymbol{z}^{(l)} &=W^{(l)} \boldsymbol{a}^{(l-1)}+\boldsymbol{b}^{(l)} \\ \boldsymbol{a}^{(l)} &=f\left(\boldsymbol{z}^{(l)}\right) \end{aligned}$

Step2. 由BP算法4个公式求E对参数的偏导数

计算出输出层的 $\tiny \boldsymbol{\delta}^{(L)}$ （由[BP-1]）,再依次计算隐藏层的 $\tiny \boldsymbol{\delta}^{(l)}$ （由[BP-2]）
然后：

Step3. 更新网络权重和偏置

$\tiny \begin{aligned} \boldsymbol{W}^{(l)} &=\boldsymbol{W}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}} \\ \boldsymbol{b}^{(l)} &=\boldsymbol{b}^{(l)}-\frac{\mu}{N} \sum_{k=1}^{N} \frac{\partial E^{(k)}}{\boldsymbol{b}^{(l)}} \end{aligned}$

Step4. 判断结束

对于一定的判断结束的准则，比如每个样本的最终输出误差小于可接受的范围或迭代次数达到一定阈值。若不满足，迭代执行Step2、Step3继续对当前样本进行训练，直到当前样本满足条件训练结束。否则，当前样本训练完毕，选取下一样本，转到Step1继续进行训练。

如下图所示：

参考：https://blog.csdn.net/qq_32865355/article/details/80260212

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
webpack图片等资源的处理 dmengmeng
需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
CX8836：小体积大功率升降压方案推荐（附Demo设计指南）诚芯微科技社交电子
CX8836是一颗同步四开关单向升降压控制器，在4.5V-40V宽输入电压范围内稳定工作，持续负载电流10A，能够在输入高于或低于输出电压时稳定调节输出电压，可适用于USBPD快充、车载充电器、HUB、汽车启停系统、工业PC电源等多种升降压应用场合，为大功率TYPE-CPD车载充电器提供最优解决方案。提供CX8836Demo测试、CX8836样品申请及CX8836方案开发技术支持。CX8836同升
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
Some jenkins settings SnC_
Jenkins连接到特定gitlabproject的特定branch我采用的方法是在pipeline的script中使用git命令来指定branch。如下：stage('Clonerepository'){steps{gitbranch:'develop',credentialsId:'gitlab-credential-id',url:'http://gitlab.com/repo.git'}}
推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
数据结构 | 栈和队列 TT-Kun 数据结构与算法数据结构栈队列 C语言
文章目录栈和队列1.栈：后进先出（LIFO）的数据结构1.1概念与结构1.2栈的实现2.队列：先进先出（FIFO）的数据结构2.1概念与结构2.2队列的实现3.栈和队列算法题3.1有效的括号3.2用队列实现栈3.3用栈实现队列3.4设计循环队列结论栈和队列在计算机科学中，栈和队列是两种基本且重要的数据结构，它们在处理数据存储和访问顺序方面有着独特的规则和应用。本文将详细介绍栈和队列的概念、结构、实
[Python] 数据结构详解及代码 AIAdvocate 算法 python 数据结构链表
今日内容大纲介绍数据结构介绍列表链表1.数据结构和算法简介程序大白话翻译,程序=数据结构+算法数据结构指的是存储,组织数据的方式.算法指的是为了解决实际业务问题而思考思路和方法,就叫:算法.2.算法的5大特性介绍算法具有独立性算法是解决问题的思路和方式,最重要的是思维,而不是语言,其(算法)可以通过多种语言进行演绎.5大特性有输入,需要传入1或者多个参数有输出,需要返回1个或者多个结果有穷性,执行
Python算法L5：贪心算法小熊同学哦 Python算法算法 python 贪心算法
Python贪心算法简介目录Python贪心算法简介贪心算法的基本步骤贪心算法的适用场景经典贪心算法问题1.**零钱兑换问题**2.**区间调度问题**3.**背包问题**贪心算法的优缺点优点：缺点：结语贪心算法（GreedyAlgorithm）是一种在每一步选择中都采取当前最优或最优解的算法。它的核心思想是，在保证每一步局部最优的情况下，希望通过贪心选择达到全局最优解。虽然贪心算法并不总能得到全
【RabbitMQ 项目】服务端：数据管理模块之绑定管理月夜星辉雪 rabbitmq 分布式
文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
python结束子进程_如何清除python中的子进程 weixin_39995943 python结束子进程
我们使用python进程来管理长时间运行的python子进程。有时需要终止子进程。kill命令不会完全终止进程，只会使其失效。运行以下脚本将演示此行为。importsubprocessp=subprocess.Popen(['sleep','400'],stdout=subprocess.PIPE,shell=False)或者p=subprocess.Popen('sleep400',stdout
非对称加密算法原理与应用2——RSA私钥加密文件私语茶馆云部署与开发架构及产品灵感记录 RSA2048 私钥加密
作者：私语茶馆1.相关章节（1）非对称加密算法原理与应用1——秘钥的生成-CSDN博客第一章节讲述的是创建秘钥对，并将公钥和私钥导出为文件格式存储。本章节继续讲如何利用私钥加密内容，包括从密钥库或文件中读取私钥，并用RSA算法加密文件和String。2.私钥加密的概述本文主要基于第一章节的RSA2048bit的非对称加密算法讲述如何利用私钥加密文件。这种加密后的文件，只能由该私钥对应的公钥来解密。
粒子群优化 (PSO) 在三维正弦波函数中的应用 subject625Ruben 机器学习人工智能 matlab 算法
在这篇博客中，我们将展示如何使用粒子群优化（PSO）算法求解三维正弦波函数，并通过增加正弦波扰动，使优化过程更加复杂和有趣。本文将介绍目标函数的定义、PSO参数设置以及算法执行的详细过程，并展示搜索空间中的动态过程和收敛曲线。1.目标函数定义我们使用的目标函数是一个三维正弦波函数，定义如下：objectiveFunc=@(x)sin(sqrt(x(1).^2+x(2).^2))+0.5*sin(5
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
非对称加密算法————RSA理论及详情 hu19930613
转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
【加密算法基础——对称加密和非对称加密】 XWWW668899 网络安全服务器笔记
对称加密与非对称加密对称加密和非对称加密是两种基本的加密方法，各自有不同的特点和用途。以下是详细比较：1.对称加密特点密钥:使用相同的密钥进行加密和解密。发送方和接收方必须共享这个密钥。速度:通常速度较快，适合处理大量数据。实现:算法相对简单，计算效率高。常见算法AES(高级加密标准)DES(数据加密标准)3DES(三重数据加密标准)RC4(流密码)应用场景文件加密磁盘加密传输大量数据时的加密2.
【算法练习】IDEA集成leetcode插件实现快速刷 2401_84102892 2024年程序员学习算法 intellij-idea leetcode
============点击右侧边leetcode->设置->配置地址、用户名、密码、存放目录、文件模板用户名要登录后在账号信息里看模板代码1.codefilename!velocityTool.camelC
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation 元注解自定义注解
一、基本概述　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
mysql优化特定类型的查询 annan211 java 工作 mysql
本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。在统
MAC下安装多版本JDK和切换几种方式棋子chessman jdk
环境： MAC AIR,OS X 10.10,64位历史：过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。在终端中输入jav
javaScript （1） Array_06 JavaScript java 浏览器
JavaScript 1、运算符　　运算符就是完成操作的一系列符号，它有七类：　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
国内顶级代码分享网站袁潇含 java jdk oracle .net PHP
现在国内很多开源网站感觉都是为了利益而做的当然利益是肯定的,否则谁也不会免费的去做网站 &
Elasticsearch、MongoDB和Hadoop比较随意而生 mongodb hadoop 搜索引擎
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
mac os 系统科研软件总结张亚雄 mac os
1.1 Microsoft Office for Mac 2011 大客户版，自行搜索。 1.2 Latex （MacTex）: 系统环境：https://tug.org/mactex/ &nb
Maven实战（四）生命周期 AdyZhang maven
1. 三套生命周期 Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
Linux下Jenkins迁移 aijuans Jenkins
1. 将Jenkins程序目录copy过去源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面 tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
request.getInputStream()只能获取一次的问题 ayaoxinchao request Inputstream
问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重
数据库SQL优化大总结之百万级数据库优化方案 BigBird2012 SQL优化
网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where
jsonObject的使用 bijian1013 java json
在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap;
[Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper
Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher， /** * Register a watcher for a particular p
【Scala十三】Scala核心七：部分应用函数 bit1129 scala
何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
Tomcat Error listenerStart 终极大法 ronin47 tomcat
Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码 handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
不用加减符号实现加减法 BrokenDreams 实现
今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。
读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化如果在
CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA
调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！所以验证结果的正确性很重要！！！在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。以下程序在K5000GPU上跑的。
诡异的超长时间GC问题定位 chenchao051 jvm cms GC hbase swap
HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
maven环境快速搭建 daizj 安装 mavne 环境配置
一下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView
public function searchWithRelated() { $criteria = new CDbCriteria; $criteria->together = true; //without th
Java集合对象和数组对象的转换 dyy_gusi java集合
在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
nginx同一主机部署多个应用 geeksun nginx
近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1. 在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts 2. 修改nginx.conf的配置，在http节点增加下面内容设置，用来包含vhosts里的配置文件 #
ubuntu添加admin权限的用户账号 hongtoushizi ubuntu useradd
ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd 使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。顾应该如下操作：
第五章常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginx lua
JSON库在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timer quartz 定时器
原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时首先继承jav
Linux下df与du两个命令的差别？ pda158 linux
　一、df显示文件系统的使用情况，与du比較，就是更全盘化。　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。　　举比例如以下：　　[root@localhost ~]# df -T 　　Filesystem Type &n
[转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VO android sqlite 反射 Cursor
在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。使用时需要注意：考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
该学习笔记用到的Employee表 vipbooks oracle sql 工作
这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓

反向传播算法（BP神经网络）

一. 相关概念

​二. 神经网络通用表示

1. 一个神经元模型

2. 全连接神经网络

三. 前向传播算法

四. 反向传播算法

1. 采用批量梯度下降法获得参数和的更新公式

2. 通过链式法则和残差 的定义求解代价函数的偏导

(1)对于输出层(L层)的权重参数w的偏导

(2)对于隐藏层(层)的权重参数w的偏导

(3)对输出层和隐藏层的偏置参数b的偏导和

(4)公式总结

3.对N个训练样本集用BP算法更新参数的步骤

你可能感兴趣的:(深度学习,反向传播算法,BP神经网络,BP算法)

二. 神经网络通用表示

1. 采用批量梯度下降法获得参数 $\tiny w{_{ij}}^{(l)}$ 和 $\tiny b{_{i}}^{(l)}$ 的更新公式

2. 通过链式法则和残差 $\tiny \boldsymbol{\delta}^{l}$ 的定义求解代价函数的偏导

(1)对于输出层(L层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(L)}}$

(2)对于隐藏层( $\large \boldsymbol{l}$ 层)的权重参数w的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{W}^{(l)}}$

(3)对输出层和隐藏层的偏置参数b的偏导 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(L)}}$ 和 $\tiny \frac{\partial E^{(k)}}{\partial \boldsymbol{b}^{(l)}}$