考彭斯

LSTM反向传播公式推导

1、正向传播

2、反向传播

3、总结

1、正向传播

LSTM的正向传播公式：

$\Gamma_f^{<t>}= \sigma(W_f[a^{<t-1>},x^{<t>}]+b_f)$

$\Gamma_u^{<t>}= \sigma(W_u[a^{<t-1>},x^{<t>}]+b_u)$

$\Gamma_o^{<t>}= \sigma(W_o[a^{<t-1>},x^{<t>}]+b_o)$

$\widetilde{c}^{<t>}=tanh(W_c[a^{<t-1>},x^{<t>}]+bc)$

$c^{<t>}=\Gamma_u^{<t>}.*\widetilde{c}^{<t>}+\Gamma_f.*c^{<t-1>}$

$a^{<t>}=\Gamma_o^{<t>}.*tanh(c^{<t>})$

$z^{<t>}= W_ya^{<t>}+b_y$

$\hat{y}^{<t>}=softmax(z^{<t>})$

$\mathcal{L}^{<t>}(\hat{y}^{<t>}, y^{<t>})=-\sum_{j=1}^{n_y}y^{<t>}_jlog(\hat{y}^{<t>}_j)$

$L=\sum_{t=1}^{T_x}\mathcal{L}^{<t>}(\hat{y}^{<t>}, y^{<t>})$

由于传播过程比较复杂，我们画一个计算草图来反映时间步t的正向传播中，各个量的关系：

计算图中红色部分不属于时间步t，而是属于时间步t+1，把这几个红色的计算加入以后，可以更清晰的看到， $c^{<t>}$ 的值会传播到两个位置（即在时间步t的正向传播中，传递到 $a^{<t>}$ ，在时间步t+1的正向传播中，传递到 $c^{<t+1>}$ ；而 $a^{<t>}$ 的值会传播到5个位置（即时间步t的正向传播中，传递到 $z^{<t>}$ ,在时间步t+1的正向传播中，传递到 $\Gamma_u^{<t+1>}$ 、 $\Gamma_f^{<t+1>}$ 、 $\Gamma_o^{<t+1>}$ 和 $\widetilde{c}^{<t+1>}$ ）。这对于理解反向传播中 $a^{<t>}$ 、 $c^{<t>}$ 的导数从何而来非常重要，在反向传播中，我们会看到， $c^{<t>}$ 的误差从相应的2个位置反向传播得到， $a^{<t>}$ 的误差从相应的5个位置反向传播得到。

2、反向传播

把正向传播的计算图反过来就是时间步t的反向传播的计算图：

红色的部分是时间步t+1的量对于 $a^{<t>}$ 、 $c^{<t>}$ 导数的贡献。我们根据这张图，从上往下推导。

对于输出激活函数是softmax，损失函数是交叉熵的情况，常用的公式是：

$\frac{\partial \mathcal{L}^{<t>}}{\partial z^{<t>}}=\hat{y}^{<t>}-y^{<t>}$ (1)

我在RNN反向传播的推导中证明了这个公式，这里就不证明了。

根据

$z^{<t>}= W_ya^{<t>}+b_y$

我们可以进而得到：

$\frac{\partial \mathcal{L}^{<t>}}{\partial b_y}=\hat{y}^{<t>}-y^{<t>}\Rightarrow\frac{\partial L}{\partial b_y}=\sum_t\hat{y}^{<t>}-y^{<t>}$ (2)

$\frac{\partial \mathcal{L}^{<t>}}{\partial W_y}=(\hat{y}^{<t>}-y^{<t>})(a^{<t>})^T\Rightarrow\frac{\partial L}{\partial W_y}=\sum_t(\hat{y}^{<t>}-y^{<t>})(a^{<t>})^T$ (3)

$\frac{\partial \mathcal{L}^{<t>}}{\partial a^{<t>}}=W_y^T(\hat{y}^{<t>}-y^{<t>})$ (4)

以上公式和RNN的情况是一模一样的，也不多解释了。

正如反向传播的计算图所示的那样， $a^{<t>}$ 的导数除了包含式(4)中的那一项，还包括来自 $\Gamma_u^{<t+1>}$ 、 $\Gamma_f^{<t+1>}$ 、 $\Gamma_o^{<t+1>}$ 和 $\widetilde{c}^{<t+1>}$ 的四项，即：

$\frac{\partial L}{\partial a^{<t>}}\\ =\frac{\partial \mathcal{L}^{<t>}}{\partial a^{<t>}}+\frac{\partial L}{\partial \Gamma_o^{<t+1>}}\frac{\partial \Gamma_o^{<t+1>}}{\partial a^{<t>}}+\frac{\partial L}{\partial \Gamma_u^{<t+1>}}\frac{\partial \Gamma_u^{<t+1>}}{\partial a^{<t>}}+\frac{\partial L}{\partial \Gamma_f^{<t+1>}}\frac{\partial \Gamma_f^{<t+1>}}{\partial a^{<t>}}+\frac{\partial L}{\partial \widetilde{c}^{<t+1>}}\frac{\partial \widetilde{c}^{<t+1>}}{\partial a^{<t>}}$ （5.a）

类似的， $c^{<t>}$ 的导数也可以表示为两项，一项来自 $a^{<t>}$ ，另一项来自 $c^{<t+1>}$ ：

$\frac{\partial L}{\partial c^{<t>}}=\frac{\partial L}{\partial a^{<t>}}\frac{\partial a^{<t>}}{\partial c^{<t>}}+\frac{\partial L}{\partial c^{<t+1>}}\frac{\partial c^{<t+1>}}{\partial c^{<t>}}$ (6.a)

公式(5)(6)实际上给出了 $a^{<t>}$ 、 $c^{<t>}$ 导数的递推关系式。

对于最后一个时间步，t=Tx，没有来自下一个时间步的导数传入，公式(5)(6)变为：

(5): $\frac{\partial L}{\partial a^{<T_x>}}=\frac{\partial \mathcal{L}^{<T_x>}}{\partial a^{<T_x>}}=W_y^T(\hat{y}^{<T_x>}-y^{<T_x>})$ (7)

(6): $\frac{\partial L}{\partial c^{<T_x>}}=\frac{\partial L}{\partial a^{<T_x>}}\frac{\partial a^{<T_x>}}{\partial c^{<T_x>}}$ (8.a)

根据 $a^{<t>}=\Gamma_o^{<t>}.*tanh(c^{<t>})$ 的下标表示：

$a_i^{<T_x>}=\Gamma_{oi}^{<T_x>}tanh(c_i^{<T_x>})$

并把公式(8.a)也用下标表示，可得:

$\frac{\partial L}{\partial c^{<T_x>}_i}=\frac{\partial L}{\partial a^{<T_x>}_i}\frac{\partial a^{<T_x>}_i}{\partial c^{<T_x>}_i}=\frac{\partial L}{\partial a^{<T_x>}_i}\Gamma_{oi}^{<T_x>}[1-tanh^2(c_i^{<T_x>})]\\ \Rightarrow \frac{\partial L}{\partial c^{<T_x>}}=\frac{\partial L}{\partial a^{<T_x>}}.*\Gamma_{o}^{<T_x>}.*[1-tanh^2(c^{<T_x>})]$ (8.b)

上式的推导用到了 $tanh^{'}(x)=1-tanh^2(x)$

式(7)和(8.b)给出了最后一个时间步 $a^{<T_x>}$ 和 $c^{<T_x>}$ 的导数，我们下面只需要假设已知 $a^{<t+1>}$ 和 $c^{<t+1>}$ 的导数，并求出 $a^{<t>}$ 和 $c^{<t>}$ 导数的表达式（递推关系式），就能够利用递推关系一步步反向传播求出所有时间步下 $a^{<t>}$ 和 $c^{<t>}$ 的导数。

先根据 $a^{<t+1>}$ 和 $c^{<t+1>}$ 的导数，得到 $\Gamma_u^{<t+1>}$ 、 $\Gamma_f^{<t+1>}$ 、 $\Gamma_o^{<t+1>}$ 和 $\widetilde{c}^{<t+1>}$ 的导数：

根据这两个正向传播的式子：

$c^{<t+1>}=\Gamma_u^{<t+1>}.*\widetilde{c}^{<t+1>}+\Gamma_f^{<t+1>}.*c^{<t>}$

$a^{<t+1>}=\Gamma_o^{<t+1>}.*tanh(c^{<t+1>})$

写成下标表示：

$c^{<t+1>}_i=\Gamma_{ui}^{<t+1>}\widetilde{c}^{<t+1>}_i+\Gamma_{fi}^{<t+1>}c^{<t>}_i$

$a^{<t+1>}_i=\Gamma_{oi}^{<t+1>}tanh(c^{<t+1>}_i)$

应用链式法则，得到：

$\frac{\partial L}{\partial \Gamma_{oi}^{<t+1>}}=\frac{\partial L}{\partial a_{i}^{<t+1>}}\frac{\partial a_{i}^{<t+1>}}{\partial \Gamma_{oi}^{<t+1>}}=\frac{\partial L}{\partial a_{i}^{<t+1>}}tanh(c^{<t+1>}_i)$ (9)

$\frac{\partial L}{\partial \Gamma_{ui}^{<t+1>}}=\frac{\partial L}{\partial c_{i}^{<t+1>}}\frac{\partial c_{i}^{<t+1>}}{\partial \Gamma_{ui}^{<t+1>}}=\frac{\partial L}{\partial c_{i}^{<t+1>}}\widetilde{c}^{<t+1>}_i$ (10)

$\frac{\partial L}{\partial \Gamma_{fi}^{<t+1>}}=\frac{\partial L}{\partial c_{i}^{<t+1>}}\frac{\partial c_{i}^{<t+1>}}{\partial \Gamma_{fi}^{<t+1>}}=\frac{\partial L}{\partial c_{i}^{<t+1>}}c^{<t>}_i$ (11)

$\frac{\partial L}{\partial \widetilde{c}^{<t+1>}_i}=\frac{\partial L}{\partial c_{i}^{<t+1>}}\frac{\partial c_{i}^{<t+1>}}{\partial \widetilde{c}^{<t+1>}_i}=\frac{\partial L}{\partial c_{i}^{<t+1>}}\Gamma_{ui}^{<t+1>}$ (12)

于是如公式(5.a)所示， $\frac{\partial L}{\partial a^{<t>}_j}$ 可以表示为如下5项：

$\frac{\partial L}{\partial a^{<t>}_j}\\ =\frac{\partial \mathcal{L}^{<t>}}{\partial a^{<t>}_j}+\sum_i\frac{\partial L}{\partial \Gamma_{oi}^{<t+1>}}\frac{\partial \Gamma_{oi}^{<t+1>}}{\partial a^{<t>}_j}+\sum_i\frac{\partial L}{\partial \Gamma_{ui}^{<t+1>}}\frac{\partial \Gamma_{ui}^{<t+1>}}{\partial a^{<t>}_j}+\sum_i\frac{\partial L}{\partial \Gamma_{fi}^{<t+1>}}\frac{\partial \Gamma_{fi}^{<t+1>}}{\partial a^{<t>}_j}+\sum_i\frac{\partial L}{\partial \widetilde{c}^{<t+1>}_i}\frac{\partial \widetilde{c}^{<t+1>}_i}{\partial a^{<t>}_j}$ (5.b)

根据正向传播的公式：

$\Gamma_f^{<t>}= \sigma(W_f[a^{<t-1>},x^{<t>}]+b_f)$

$\Gamma_u^{<t>}= \sigma(W_u[a^{<t-1>},x^{<t>}]+b_u)$

$\Gamma_o^{<t>}= \sigma(W_o[a^{<t-1>},x^{<t>}]+b_o)$

$\widetilde{c}^{<t>}=tanh(W_c[a^{<t-1>},x^{<t>}]+bc)$

写为下标形式：

$\Gamma_{i}^{<t+1>}= \sigma(W_{ij}[a^{<t>},x^{<t+1>}]_j+b_i)$

$\widetilde{c}^{<t+1>}_i=tanh(W_{cij}[a^{<t>},x^{<t+1>}]_j+b_{ci})$

式中的 $\Gamma$ 代表三个门中的任意一个

于是，我们可以给出偏导数：

$\frac{\partial \Gamma_{i}^{<t+1>}}{\partial a^{<t>}_j}=\Gamma_{i}^{<t+1>}(1-\Gamma_{i}^{<t+1>})W_{ij}$

$\frac{\partial \widetilde{c}^{<t+1>}_i}{\partial a^{<t>}_j}=(1-(\widetilde{c}^{<t+1>}_i)^2)W_{cij}$

以上的推导用到了sigmoid函数的导数 $\sigma^{'}(x)=\sigma(x)(1-\sigma(x))$

带入(5.b)，可以得到

$\frac{\partial L}{\partial a^{<t>}_j}\\ =\frac{\partial \mathcal{L}^{<t>}}{\partial a^{<t>}_j}\\ +\sum_i\frac{\partial L}{\partial a_{i}^{<t+1>}}tanh(c^{<t+1>}_i)\Gamma_{oi}^{<t+1>}(1-\Gamma_{oi}^{<t+1>})W_{oij}\\ +\sum_i\frac{\partial L}{\partial c_{i}^{<t+1>}}\widetilde{c}^{<t+1>}_i\Gamma_{ui}^{<t+1>}(1-\Gamma_{ui}^{<t+1>})W_{uij}\\ +\sum_i\frac{\partial L}{\partial c_{i}^{<t+1>}}c^{<t>}_i\Gamma_{fi}^{<t+1>}(1-\Gamma_{fi}^{<t+1>})W_{fij}\ \\ +\sum_i\frac{\partial L}{\partial c_{i}^{<t+1>}}\Gamma_{ui}^{<t+1>}(1-(\widetilde{c}^{<t+1>}_i)^2)W_{cij}\\ \Rightarrow$

$\frac{\partial L}{\partial a^{<t>}}\\ =\frac{\partial \mathcal{L}^{<t>}}{\partial a^{<t>}}\\ +W_{oa}^T[\frac{\partial L}{\partial a^{<t+1>}}.*tanh(c^{<t+1>}).*\Gamma_{o}^{<t+1>}.*(1-\Gamma_{o}^{<t+1>})]\\ +W_{ua}^T[\frac{\partial L}{\partial c^{<t+1>}}.*\widetilde{c}^{<t+1>}.*\Gamma_{u}^{<t+1>}.*(1-\Gamma_{u}^{<t+1>})]\\ +W_{fa}^T[\frac{\partial L}{\partial c^{<t+1>}}.*c^{<t>}.*\Gamma_{f}^{<t+1>}.*(1-\Gamma_{f}^{<t+1>})] \\ +W_{ca}^T[\frac{\partial L}{\partial c^{<t+1>}}.*\Gamma_{u}^{<t+1>}.*(1-(\widetilde{c}^{<t+1>})^2)]$ (5.c)

(5.c)中W下标的a表示只考虑W中与a有关的部分，即

再考虑(6.a)：

(6.a)右边第一项等于：

$\frac{\partial L}{\partial a^{<t>}}\frac{\partial a^{<t>}}{\partial c^{<t>}}=\frac{\partial L}{\partial a^{<t>}}.*\Gamma_{o}^{<t>}.*[1-tanh^2(c^{<t>})]$

这里的推导和(8.b)是一模一样的，就不再证明了。

考虑(6.a)右边第二项

利用正向传播的公式： $c^{<t+1>}_i=\Gamma_{ui}^{<t+1>}\widetilde{c}^{<t+1>}_i+\Gamma_{fi}^{<t+1>}c^{<t>}_i$

第二项 $\frac{\partial L}{\partial c^{<t+1>}_i}\frac{\partial c^{<t+1>}_i}{\partial c^{<t>}_i}=\frac{\partial L}{\partial c^{<t+1>}_i}\Gamma_{fi}^{<t+1>}$

故(6.a)可以写为：

$\frac{\partial L}{\partial c^{<t>}}\\ =\frac{\partial L}{\partial a^{<t>}}\frac{\partial a^{<t>}}{\partial c^{<t>}}+\frac{\partial L}{\partial c^{<t+1>}}\frac{\partial c^{<t+1>}}{\partial c^{<t>}}\\ =\frac{\partial L}{\partial a^{<t>}}.*\Gamma_{o}^{<t>}.*[1-tanh^2(c^{<t>})]+\frac{\partial L}{\partial c^{<t+1>}}.*\Gamma_{f}^{<t+1>}$ (6.b)

至此，我们给出了 $a^{<t>}$ 、 $c^{<t>}$ 的导数的递推关系式(5.c)、(6.b)。接下来的部分就比较简单了，只需要根据 $a^{<t>}$ 、 $c^{<t>}$ 的导数计算等参数的梯度。以下式子和公式(9)(10)(11)(12)是一样的，只是把时间步t+1改为了t：

$\frac{\partial L}{\partial \Gamma_{oi}^{<t>}}=\frac{\partial L}{\partial a_{i}^{<t>}}\frac{\partial a_{i}^{<t>}}{\partial \Gamma_{oi}^{<t>}}=\frac{\partial L}{\partial a_{i}^{<t>}}tanh(c^{<t>}_i)$

$\frac{\partial L}{\partial \Gamma_{ui}^{<t>}}=\frac{\partial L}{\partial c_{i}^{<t>}}\frac{\partial c_{i}^{<t>}}{\partial \Gamma_{ui}^{<t>}}=\frac{\partial L}{\partial c_{i}^{<t>}}\widetilde{c}^{<t>}_i$

$\frac{\partial L}{\partial \Gamma_{fi}^{<t>}}=\frac{\partial L}{\partial c_{i}^{<t>}}\frac{\partial c_{i}^{<t>}}{\partial \Gamma_{fi}^{<t>}}=\frac{\partial L}{\partial c_{i}^{<t>}}c^{<t-1>}_i$

$\frac{\partial L}{\partial \widetilde{c}^{<t>}_i}=\frac{\partial L}{\partial c_{i}^{<t>}}\frac{\partial c_{i}^{<t>}}{\partial \widetilde{c}^{<t>}_i}=\frac{\partial L}{\partial c_{i}^{<t>}}\Gamma_{ui}^{<t>}$

结合正向传播的公式：

$\Gamma_{i}^{<t>}= \sigma(W_{ij}[a^{<t-1>},x^{<t>}]_j+b_i)$

$\widetilde{c}^{<t>}_i=tanh(W_{cij}[a^{<t-1>},x^{<t>}]_j+b_{ci})$

（公式中下标不指示那个门的 $\Gamma$ ，代表三个门中的任意一个）

得到：

$\frac{\partial L}{\partial W_{ij}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \Gamma_{i}^{<t>}}\frac{\partial \Gamma_{i}^{<t>}}{\partial W_{ij}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \Gamma_{i}^{<t>}}\Gamma_{i}^{<t>}(1-\Gamma_{i}^{<t>})[a^{<t-1>},x^{<t>}]_j$

$\frac{\partial L}{\partial b_{i}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \Gamma_{i}^{<t>}}\frac{\partial \Gamma_{i}^{<t>}}{\partial b_{i}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \Gamma_{i}^{<t>}}\Gamma_{i}^{<t>}(1-\Gamma_{i}^{<t>})$

$\frac{\partial L}{\partial W_{cij}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \widetilde{c}^{<t>}_i}\frac{\partial \widetilde{c}^{<t>}_i}{\partial W_{cij}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \widetilde{c}^{<t>}_i}[1-(\widetilde{c}^{<t>}_i)^2][a^{<t-1>},x^{<t>}]_j$

$\frac{\partial L}{\partial b_{ci}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \widetilde{c}^{<t>}_i}\frac{\partial \widetilde{c}^{<t>}_i}{\partial b_{ci}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \widetilde{c}^{<t>}_i}[1-(\widetilde{c}^{<t>}_i)^2]$

$\Rightarrow$

$\frac{\partial L}{\partial W}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \Gamma^{<t>}}.*\Gamma^{<t>}.*(1-\Gamma^{<t>})[a^{<t-1>},x^{<t>}]^T$

$\frac{\partial L}{\partial b}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \Gamma^{<t>}}.*\Gamma^{<t>}.*(1-\Gamma^{<t>})$

$\frac{\partial L}{\partial W_{c}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \widetilde{c}^{<t>}}.*[1-(\widetilde{c}^{<t>})^2][a^{<t-1>},x^{<t>}]^T$

$\frac{\partial L}{\partial b_{c}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial \widetilde{c}^{<t>}}.*[1-(\widetilde{c}^{<t>})^2]$

$\Rightarrow$

$\frac{\partial L}{\partial W_{o}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial a^{<t>}}.*tanh(c^{<t>}).*\Gamma^{<t>}_o.*(1-\Gamma^{<t>}_o)[a^{<t-1>},x^{<t>}]^T$ (13)

$\frac{\partial L}{\partial b_o}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial a^{<t>}}.*tanh(c^{<t>}).*\Gamma^{<t>}_o.*(1-\Gamma^{<t>}_o)$ (14)

$\frac{\partial L}{\partial W_{u}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\widetilde{c}^{<t>}.*\Gamma^{<t>}_u.*(1-\Gamma^{<t>}_u)[a^{<t-1>},x^{<t>}]^T$ (15)

$\frac{\partial L}{\partial b_u}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\widetilde{c}^{<t>}.*\Gamma^{<t>}_u.*(1-\Gamma^{<t>}_u)$ (16)

$\frac{\partial L}{\partial W_{f}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*c^{<t-1>}.*\Gamma^{<t>}_f.*(1-\Gamma^{<t>}_f)[a^{<t-1>},x^{<t>}]^T$ (17)

$\frac{\partial L}{\partial b_f}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*c^{<t-1>}.*\Gamma^{<t>}_f.*(1-\Gamma^{<t>}_f)$ (18)

$\frac{\partial L}{\partial W_{c}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\Gamma_{u}^{<t>}.*[1-(\widetilde{c}^{<t>})^2][a^{<t-1>},x^{<t>}]^T$ (19)

$\frac{\partial L}{\partial b_{c}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\Gamma_{u}^{<t>}.*[1-(\widetilde{c}^{<t>})^2]$ (20)

以上就是LSTM反向传播所需要的所有公式。

3、总结

LSTM的正向传播由以下公式给出：

$\Gamma_f^{<t>}= \sigma(W_f[a^{<t-1>},x^{<t>}]+b_f)$

$\Gamma_u^{<t>}= \sigma(W_u[a^{<t-1>},x^{<t>}]+b_u)$

$\Gamma_o^{<t>}= \sigma(W_o[a^{<t-1>},x^{<t>}]+b_o)$

$\widetilde{c}^{<t>}=tanh(W_c[a^{<t-1>},x^{<t>}]+bc)$

$c^{<t>}=\Gamma_u^{<t>}.*\widetilde{c}^{<t>}+\Gamma_f.*c^{<t-1>}$

$a^{<t>}=\Gamma_o^{<t>}.*tanh(c^{<t>})$

$z^{<t>}= W_ya^{<t>}+b_y$

$\hat{y}^{<t>}=softmax(z^{<t>})$

$\mathcal{L}^{<t>}(\hat{y}^{<t>}, y^{<t>})=-\sum_{j=1}^{n_y}y^{<t>}_jlog(\hat{y}^{<t>}_j)$

$L=\sum_{t=1}^{T_x}\mathcal{L}^{<t>}(\hat{y}^{<t>}, y^{<t>})$

反向传播步骤：

①在每个时间步t，接受来自上一个时间步t+1的导数 $\frac{\partial L}{\partial a^{<t+1>}}$ 、 $\frac{\partial L}{\partial c^{<t+1>}}$ ，（最后一个时间步下的值可以准确得到）

实际的程序中可能还要传入时间步t+1的cache，因为时间步t的cache中只存了时间步t的量

②

——计算参数Wy、by的导数

$\frac{\partial \mathcal{L}^{<t>}}{\partial b_y}=\hat{y}^{<t>}-y^{<t>}\Rightarrow\frac{\partial L}{\partial b_y}=\sum_t\hat{y}^{<t>}-y^{<t>}$ (2)

$\frac{\partial \mathcal{L}^{<t>}}{\partial W_y}=(\hat{y}^{<t>}-y^{<t>})(a^{<t>})^T\Rightarrow\frac{\partial L}{\partial W_y}=\sum_t(\hat{y}^{<t>}-y^{<t>})(a^{<t>})^T$ (3)

（虽然是对所有时间步求和，但是时间步t的时候可以计算一项，最后再加到一起就行）

——计算 $\frac{\partial L}{\partial a^{<t>}}$

$\frac{\partial \mathcal{L}^{<t>}}{\partial a^{<t>}}=W_y^T(\hat{y}^{<t>}-y^{<t>})$ (4)

——计算 $\frac{\partial L}{\partial c^{<t>}}$

—— 计算其他参数的导数

$\frac{\partial L}{\partial W_{o}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial a^{<t>}}.*tanh(c^{<t>}).*\Gamma^{<t>}_o.*(1-\Gamma^{<t>}_o)[a^{<t-1>},x^{<t>}]^T$ (13)

$\frac{\partial L}{\partial b_o}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial a^{<t>}}.*tanh(c^{<t>}).*\Gamma^{<t>}_o.*(1-\Gamma^{<t>}_o)$ (14)

$\frac{\partial L}{\partial W_{u}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\widetilde{c}^{<t>}.*\Gamma^{<t>}_u.*(1-\Gamma^{<t>}_u)[a^{<t-1>},x^{<t>}]^T$ (15)

$\frac{\partial L}{\partial b_u}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\widetilde{c}^{<t>}.*\Gamma^{<t>}_u.*(1-\Gamma^{<t>}_u)$ (16)

$\frac{\partial L}{\partial W_{f}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*c^{<t-1>}.*\Gamma^{<t>}_f.*(1-\Gamma^{<t>}_f)[a^{<t-1>},x^{<t>}]^T$ (17)

$\frac{\partial L}{\partial b_f}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*c^{<t-1>}.*\Gamma^{<t>}_f.*(1-\Gamma^{<t>}_f)$ (18)

$\frac{\partial L}{\partial W_{c}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\Gamma_{u}^{<t>}.*[1-(\widetilde{c}^{<t>})^2][a^{<t-1>},x^{<t>}]^T$ (19)

$\frac{\partial L}{\partial b_{c}}=\sum_{t=1}^{T_x}\frac{\partial L}{\partial c^{<t>}}.*\Gamma_{u}^{<t>}.*[1-(\widetilde{c}^{<t>})^2]$ (20)

（虽然是对所有时间步求和，但是时间步t的时候可以计算一项，最后再加到一起就行）

③把 $\frac{\partial L}{\partial a^{<t>}}$ 、 $\frac{\partial L}{\partial c^{<t>}}$ 传递给下一个时间步t-1

ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
计算机视觉中，Pooling的作用 Wils0nEdwards 计算机视觉人工智能
在计算机视觉中，Pooling（池化）是一种常见的操作，主要用于卷积神经网络（CNN）中。它通过对特征图进行下采样，减少数据的空间维度，同时保留重要的特征信息。Pooling的作用可以归纳为以下几个方面：1.降低计算复杂度与内存需求Pooling操作通过对特征图进行下采样，减少了特征图的空间分辨率（例如，高度和宽度）。这意味着网络需要处理的数据量会减少，从而降低了计算量和内存需求。这对大型神经网络
神经网络-损失函数红米煮粥神经网络人工智能深度学习
文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction）2.交叉熵损失（Cross-EntropyLoss）3.合页损失（HingeLoss）三、总结在神经网络中，损失函数（LossFunction）扮演着至关重要的角色，它
BP神经网络的传递函数大胜归来19 MATLAB
BP网络一般都是用三层的，四层及以上的都比较少用；传输函数的选择，这个怎么说，假设你想预测的结果是几个固定值，如1,0等，满足某个条件输出1，不满足则0的话，首先想到的是hardlim函数，阈值型的，当然也可以考虑其他的；然后，假如网络是用来表达某种线性关系时，用purelin---线性传输函数；若是非线性关系的话，用别的非线性传递函数，多层网络时，每层不一定要用相同的传递函数，可以是三种配合，可
神经网络传递函数sigmoid,神经网络传递函数作用快乐的小荣荣神经网络机器学习深度学习人工智能
神经网络传递函数选取不同会有特别大差别嘛？只是最后一层，但前面层是非线性，那么可能存在区别不大的情况。线性函数f(a*input)=af(input),一般来说，input为向量，最简化情况下，可以假设input的各个维度，a1=a2=a3。。。意味着你线性层只是简单的对输入做了scale~而神经网络能起作用的原因，在于通过足够复杂的非线性函数，来模拟任何的分布。所以，神经网络必须要用非线性函数。
Python和R均方根误差平均绝对误差算法模型亚图跨际 Python 交叉知识 R 回归模型误差指标归一化均方根误差生态状态指标神经网络成本误差气体排放气候模型多项式拟合
要点回归模型误差评估指标归一化均方根误差生态状态指标神经网络成本误差计算气体排放气候算法模型Python误差指标均方根误差和平均绝对误差均方根偏差或均方根误差是两个密切相关且经常使用的度量值之一，用于衡量真实值或预测值与观测值或估计值之间的差异。估计器θ^\hat{\theta}θ^相对于估计参数θ\thetaθ的RMSD定义为均方误差的平方根：RMSD⁡(θ^)=MSE⁡(θ^)=E((θ^−θ
数据分析-24-时间序列预测之基于keras的VMD-LSTM和VMD-CNN-LSTM预测风速皮皮冰燃数据分析数据分析
文章目录1普通的LSTM模型1.1数据重采样1.2数据标准化1.3切分窗口1.4划分数据集1.5建立模型1.6预测效果2VMD-LSTM模型2.1VMD分解时间序列2.2对每一个IMF建立LSTM模型2.2.1IMF1—LSTM2.2.2IMF2-LSTM2.2.3统一代码2.3评估效果3CNN-LSTM模型3.1数据预处理3.2建立模型3.3效果预测4VMD-CNN-LSTM模型4.1VMD分解
【NLP5-RNN模型、LSTM模型和GRU模型】一蓑烟雨紫洛 nlp rnn lstm gru nlp
RNN模型、LSTM模型和GRU模型1、什么是RNN模型RNN（RecurrentNeuralNetwork)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响2、R
基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
chatgpt赋能python：如何在Python中安装Keras库？ turensu ChatGpt python chatgpt keras 计算机
如何在Python中安装Keras库？Keras是一个简单易用的神经网络库，由FrançoisChollet编写。它在Python编程语言中实现了深度学习的功能，可以使您更轻松地构建和试验不同类型的神经网络。如果您是一名Python开发人员，肯定会想知道如何在您的Python项目中安装Keras库。在本文中，我们将向您展示如何安装和配置Keras库。步骤1：安装Python要使用Keras库，您需
如何理解深度学习的训练过程奋斗的草莓熊深度学习人工智能 python scikit-learn virtualenv numpy pandas
文章目录1.训练是干什么？2.预训练模型进行训练，主要更改的是预训练模型的什么东西？1.训练是干什么？以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗2.预训练模型进行训练，主要更改的是预训练模型的什么东西？超参数（Hyperparameters）：这是模型结构中定义的参数，比如：卷积核大小（kernel_size
Keras深度学习框架入门及实战指南司莹嫣Maude
Keras深度学习框架入门及实战指南keraskeras-team/keras:是一个基于Python的深度学习库，它没有使用数据库。适合用于深度学习任务的开发和实现，特别是对于需要使用Python深度学习库的场景。特点是深度学习库、Python、无数据库。项目地址:https://gitcode.com/gh_mirrors/ke/keras一、项目介绍Keras简介Keras是一款高级神经网络
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
【3.6 python中的numpy编写一个“手写数字识”的神经网络】 wang151038606 深度学习入门 python numpy 神经网络
3.6python中的numpy编写一个“手写数字识”的神经网络要使用Python中的NumPy库从头开始编写一个“手写数字识别”的神经网络，我们通常会处理MNIST数据集，这是一个广泛使用的包含手写数字的图像数据集。但是，完全用NumPy来实现神经网络（包括数据的加载、预处理、模型定义、前向传播、损失计算、反向传播和权重更新）是一个相当复杂的任务，因为NumPy本身不提供自动微分或高级优化算法（
yolov5单目测距+速度测量+目标跟踪 cv_2025 YOLO 目标跟踪人工智能计算机视觉机器学习图像处理 opencv
要在YOLOv5中添加测距和测速功能，您需要了解以下两个部分的原理：单目测距算法单目测距是使用单个摄像头来估计场景中物体的距离。常见的单目测距算法包括基于视差的方法（如立体匹配）和基于深度学习的方法（如神经网络）。基于深度学习的方法通常使用卷积神经网络（CNN）来学习从图像到深度图的映射关系。单目测距代码单目测距涉及到坐标转换，代码如下：defconvert_2D_to_3D(point2D,R,
探索深度学习的奥秘：从理论到实践的奇幻之旅小周不想卷深度学习
目录引言：穿越智能的迷雾一、深度学习的奇幻起源：从感知机到神经网络1.1感知机的启蒙1.2神经网络的诞生与演进1.3深度学习的崛起二、深度学习的核心魔法：神经网络架构2.1前馈神经网络（FeedforwardNeuralNetwork,FNN）2.2卷积神经网络（CNN）2.3循环神经网络（RNN）及其变体（LSTM,GRU）2.4生成对抗网络（GAN）三、深度学习的魔法秘籍：算法与训练3.1损失
卷积神经网络（CNN）详细介绍及其原理详解（二） FFmpeg123 Pytorch cnn 深度学习人工智能
接上一文继续;五、全连接层假设还是上面人的脑袋的示例，现在我们已经通过卷积和池化提取到了这个人的眼睛、鼻子和嘴的特征，如果我想利用这些特征来识别这个图片是否是人的脑袋该怎么办呢？此时我们只需要将提取到的所有特征图进行“展平”，将其维度变为1×x1×x1×x，这个过程就是全连接的过程。也就是说，此步我们将所有的特征都展开并进行运算，最后会得到一个概率值，这个概率值就是输入图片是否是人的概率，这个过程
【图像压缩】奇异值分解SVD灰色图像压缩（可设置压缩比）【含Matlab源码 4358期】 Matlab武动乾坤 Matlab图像处理（进阶版）matlab
✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。更多Matlab仿真内容点击Matlab图像处理（进阶版）路径规划（Matlab）神经网络预测与分类（Matlab）优化求解（Matlab）语音处理（Matlab）信号处理（Matlab）车间调度
TextCNN：文本卷积神经网络模型一只天蝎编程语言---Python cnn 深度学习机器学习
目录什么是TextCNN定义TextCNN类初始化一个model实例输出model什么是TextCNNTextCNN（TextConvolutionalNeuralNetwork）是一种用于处理文本数据的卷积神经网（CNN）。通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。定义TextCNN类importtorch.nnasn
基于VGG的猫狗识别卑微小鹿 tensorflow tensorflow
由于猫和狗的数据在这里，所以就做了一下分类的神经网络1、首先进行图像处理：importcsvimportglobimportosimportrandomos.environ['TF_CPP_MIN_LOG_LEVEL']='2'importtensorflowastffromtensorflowimportkerasfromtensorflow.kerasimportlayersimportnum
机器学习到底是个啥旷_9b08
机器学习是装逼神器？曾几何时，当我还在本科打dota玩屁股的时候，身边总有一帮大神。听他们谈话我的心情是。。。大佬中有各路高手前端、后段、java三大架构。。。但最令本渣一听到就仰慕甚至肃然起敬的是当听到卷积神经网络的时候。顿时就有种掉线三十分钟别人都是六神装的感觉。另外，班会上别班小哥用说用机器学习把图片转换成梵高风格时自己班妹纸那一声声尖叫怕是很难忘掉了。。。好在家里爸妈给了次重新做人的机会，
入门篇，带你了解CPU, GPU, TPU, NPU, DPU 今夕是何年，视觉算法部署深度学习算法人工智能
目录CPU(中央处理器)GPU(图形处理器)TPU(张量处理单元)NPU(神经网络处理器)DPU(数据处理器)CPU(中央处理器)专业介绍：CPU是计算机系统的核心，负责执行操作系统和应用程序的指令。它由多个核心组成，每个核心可以独立执行任务。CPU的设计重点是处理复杂的逻辑运算和顺序任务，如分支预测、指令调度等。现代CPU通常包含多个层级的缓存（如L1、L2和L3缓存），以减少访问主存储器的延迟
深度学习之基于Tensorflow卷积神经网络水果蔬菜分类识别系统 qq1744828575 python python plotly
欢迎大家点赞、收藏、关注、评论啦，由于篇幅有限，只展示了部分核心代码。文章目录一项目简介二、功能三、系统四.总结一项目简介一、项目背景与目标背景：在现代农业、智能零售等领域，自动化分类与识别技术对于提高效率、优化供应链管理具有重要意义。为了响应这一需求，本项目旨在构建一个基于深度学习技术的水果蔬菜分类识别系统。目标：构建一个准确率高、性能稳定的水果蔬菜分类识别模型，利用Tensorflow框架
【深度学习实战】使用深度学习模型可视化工具——Netron在线可视化深度学习神经网络量子-Alex 深度学习神经网络人工智能
一直以来，对于深度学习领域的开发者，可视化模型都是非常迫切的需求，今天主要介绍一款可视化工具——NetronNetron有三种使用方式：在线、本地安装、pip安装今天在这里只介绍在线使用这种方式。Netron有个官方的网站：Netron点击进去是这样的一个界面我们可以点击openmodel从本地选择一个预训练模型可以看到这里就显示出来了
PHP中使用grpc服务的教程详解 Oona_01 php android 开发语言
这篇文章主要为大家详细介绍了PHP中使用grpc服务的教程相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下grpc是通过定义服务端和客户端的代码来实现的通信的。但是要实现通信，还是要将其方法包装为一个http请求，除非你把grpc的服务端代码放在本地的端口上。grpc是面对微服务框架而风生水起的，上次我用python编写了一个图神经网络处理的微服务，使用grpc放在我的服务
每天五分钟玩转深度学习框架PyTorch：获取神经网络模型的参数幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 神经网络人工智能模型参数 python
本文重点当我们定义好神经网络之后，这个网络是由多个网络层构成的，每层都有参数，我们如何才能获取到这些参数呢？我们将再下面介绍几个方法来获取神经网络的模型参数，此文我们是为了学习第6步（优化器）。获取所有参数Parametersfromtorchimportnnnet=nn.Sequential(nn.Linear(4,2),nn.Linear(2,2))print(list(net.paramet
Maven Array_06 eclipse jdk maven
Maven Maven是基于项目对象模型(POM)，信息来管理项目的构建，报告和文档的软件项目管理工具。 Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法，许多 Apache Jakarta 项目发文时使用 Maven，而且公司
ibatis的queyrForList和queryForMap区别 bijian1013 java ibatis
一.说明 iBatis的返回值参数类型也有种：resultMap与resultClass，这两种类型的选择可以用两句话说明之： 1.当结果集列名和类的属性名完全相对应的时候，则可直接用resultClass直接指定查询结果类
LeetCode[位运算] - #191 计算汉明权重 Cwind java 位运算 LeetCode Algorithm 题解
原题链接：#191 Number of 1 Bits 要求：写一个函数，以一个无符号整数为参数，返回其汉明权重。例如，‘11’的二进制表示为'00000000000000000000000000001011', 故函数应当返回3。汉明权重：指一个字符串中非零字符的个数；对于二进制串，即其中‘1’的个数。难度：简单分析：将十进制参数转换为二进制，然后计算其中1的个数即可。 “
浅谈java类与对象 15700786134 java
java是一门面向对象的编程语言，类与对象是其最基本的概念。所谓对象，就是一个个具体的物体，一个人，一台电脑，都是对象。而类，就是对象的一种抽象，是多个对象具有的共性的一种集合，其中包含了属性与方法，就是属于该类的对象所具有的共性。当一个类创建了对象，这个对象就拥有了该类全部的属性，方法。相比于结构化的编程思路，面向对象更适用于人的思维
linux下双网卡同一个IP 被触发 linux
转自： http://q2482696735.blog.163.com/blog/static/250606077201569029441/ 由于需要一台机器有两个网卡，开始时设置在同一个网段的IP，发现数据总是从一个网卡发出，而另一个网卡上没有数据流动。网上找了下，发现相同的问题不少：一、关于双网卡设置同一网段IP然后连接交换机的时候出现的奇怪现象。当时没有怎么思考、以为是生成树
安卓按主页键隐藏程序之后无法再次打开肆无忌惮_ 安卓
遇到一个奇怪的问题，当SplashActivity跳转到MainActivity之后，按主页键，再去打开程序，程序没法再打开（闪一下），结束任务再开也是这样，只能卸载了再重装。而且每次在Log里都打印了这句话"进入主程序"。后来发现是必须跳转之后再finish掉SplashActivity 本来代码： // 销毁这个Activity fin
通过cookie保存并读取用户登录信息实例知了ing JavaScript html
通过cookie的getCookies()方法可获取所有cookie对象的集合；通过getName()方法可以获取指定的名称的cookie；通过getValue()方法获取到cookie对象的值。另外，将一个cookie对象发送到客户端，使用response对象的addCookie()方法。下面通过cookie保存并读取用户登录信息的例子加深一下理解。（1）创建index.jsp文件。在改
JAVA 对象池矮蛋蛋 java ObjectPool
原文地址： http://www.blogjava.net/baoyaer/articles/218460.html Jakarta对象池 ☆为什么使用对象池恰当地使用对象池化技术，可以有效地减少对象生成和初始化时的消耗，提高系统的运行效率。Jakarta Commons Pool组件提供了一整套用于实现对象池化
ArrayList根据条件+for循环批量删除的方法 alleni123 java
场景如下： ArrayList<Obj> list Obj-> createTime, sid. 现在要根据obj的createTime来进行定期清理。（释放内存） ------------------------- 首先想到的方法就是 for(Obj o:list){ if(o.createTime-currentT>xxx){
阿里巴巴“耕地宝”大战各种宝百合不是茶平台战略
“耕地保”平台是阿里巴巴和安徽农民共同推出的一个 “首个互联网定制私人农场”，“耕地宝”由阿里巴巴投入一亿，主要是用来进行农业方面，将农民手中的散地集中起来不仅加大农民集体在土地上面的话语权，还增加了土地的流通与利用率，提高了土地的产量，有利于大规模的产业化的高科技农业的发展，阿里在农业上的探索将会引起新一轮的产业调整，但是集体化之后农民的个体的话语权将更少，国家应出台相应的法律法规保护
Spring注入有继承关系的类（1） bijian1013 java spring
一个类一个类的注入 1.AClass类 package com.bijian.spring.test2; public class AClass { String a; String b; public String getA() { return a; } public void setA(Strin
30岁转型期你能否成为成功人士 bijian1013 成功
很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
[Velocity三]基于Servlet+Velocity的web应用 bit1129 velocity
什么是VelocityViewServlet 使用org.apache.velocity.tools.view.VelocityViewServlet可以将Velocity集成到基于Servlet的web应用中，以Servlet+Velocity的方式实现web应用 Servlet + Velocity的一般步骤 1.自定义Servlet，实现VelocityViewServl
【Kafka十二】关于Kafka是一个Commit Log Service bit1129 service
Kafka is a distributed, partitioned, replicated commit log service.这里的commit log如何理解？ A message is considered "committed" when all in sync replicas for that partition have applied i
NGINX + LUA实现复杂的控制 ronin47 lua nginx 控制
安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
java-14.输入一个已经按升序排序过的数组和一个数字，在数组中查找两个数，使得它们的和正好是输入的那个数字 bylijinnan java
public class TwoElementEqualSum { /** * 第 14 题：题目：输入一个已经按升序排序过的数组和一个数字，在数组中查找两个数，使得它们的和正好是输入的那个数字。要求时间复杂度是 O(n) 。如果有多对数字的和等于输入的数字，输出任意一对即可。例如输入数组 1 、 2 、 4 、 7 、 11 、 15 和数字 15 。由于
Netty源码学习-HttpChunkAggregator-HttpRequestEncoder-HttpResponseDecoder bylijinnan java netty
今天看Netty如何实现一个Http Server org.jboss.netty.example.http.file.HttpStaticFileServerPipelineFactory： pipeline.addLast("decoder", new HttpRequestDecoder()); pipeline.addLast(&quo
java敏感词过虑-基于多叉树原理 cngolon 违禁词过虑替换违禁词敏感词过虑多叉树
基于多叉树的敏感词、关键词过滤的工具包，用于java中的敏感词过滤 1、工具包自带敏感词词库，第一次调用时读入词库，故第一次调用时间可能较长，在类加载后普通pc机上html过滤5000字在80毫秒左右，纯文本35毫秒左右。 2、如需自定义词库，将jar包考入WEB-INF工程的lib目录，在WEB-INF/classes目录下建一个 utf-8的words.dict文本文件，
多线程知识 cuishikuan 多线程
T1，T2，T3三个线程工作顺序，按照T1，T2，T3依次进行 public class T1 implements Runnable{ @Override
spring整合activemq dalan_123 java spring jms
整合spring和activemq需要搞清楚如下的东东1、ConnectionFactory分： a、spring管理连接到activemq服务器的管理ConnectionFactory也即是所谓产生到jms服务器的链接 b、真正产生到JMS服务器链接的ConnectionFactory还得
MySQL时间字段究竟使用INT还是DateTime？ dcj3sjt126com mysql
环境：Windows XPPHP Version 5.2.9MySQL Server 5.1 第一步、创建一个表date_test（非定长、int时间） CREATE TABLE `test`.`date_test` (`id` INT NOT NULL AUTO_INCREMENT ,`start_time` INT NOT NULL ,`some_content`
Parcel: unable to marshal value dcj3sjt126com marshal
在两个activity直接传递List<xxInfo>时，出现Parcel: unable to marshal value异常。在MainActivity页面（MainActivity页面向NextActivity页面传递一个List<xxInfo>）： Intent intent = new Intent(this, Next
linux进程的查看上（ps） eksliang linux ps linux ps -l linux ps aux
ps:将某个时间点的进程运行情况选取下来转载请出自出处：http://eksliang.iteye.com/admin/blogs/2119469 http://eksliang.iteye.com ps 这个命令的man page 不是很好查阅，因为很多不同的Unix都使用这儿ps来查阅进程的状态，为了要符合不同版本的需求，所以这个
为什么第三方应用能早于System的app启动 gqdy365 System
Android应用的启动顺序网上有一大堆资料可以查阅了，这里就不细述了，这里不阐述ROM启动还有bootloader，软件启动的大致流程应该是启动kernel -> 运行servicemanager 把一些native的服务用命令启动起来（包括wifi, power, rild, surfaceflinger, mediaserver等等）-> 启动Dalivk中的第一个进程Zygot
App Framework发送JSONP请求(3) hw1287789687 jsonp 跨域请求发送jsonp ajax请求越狱请求
App Framework 中如何发送JSONP请求呢? 使用jsonp,详情请参考:http://json-p.org/ 如何发送Ajax请求呢? (1)登录 /*** * 会员登录 * @param username * @param password */ var user_login=function(username,password){ // aler
发福利，整理了一份关于“资源汇总”的汇总 justjavac 资源
觉得有用的话，可以去github关注：https://github.com/justjavac/awesome-awesomeness-zh_CN 通用 free-programming-books-zh_CN 免费的计算机编程类中文书籍精彩博客集合 hacke2/hacke2.github.io#2 ResumeSample 程序员简历
用 Java 技术创建 RESTful Web 服务 macroli java 编程 Web REST
转载：http://www.ibm.com/developerworks/cn/web/wa-jaxrs/ JAX-RS (JSR-311) 【 Java API for RESTful Web Services 】是一种 Java™ API，可使 Java Restful 服务的开发变得迅速而轻松。这个 API 提供了一种基于注释的模型来描述分布式资源。注释被用来提供资源的位
CentOS6.5-x86_64位下oracle11g的安装详细步骤及注意事项超声波 oracle linux
前言：这两天项目要上线了，由我负责往服务器部署整个项目，因此首先要往服务器安装oracle，服务器本身是CentOS6.5的64位系统，安装的数据库版本是11g，在整个的安装过程中碰到很多的坑，不过最后还是通过各种途径解决并成功装上了。转别写篇博客来记录完整的安装过程以及在整个过程中的注意事项。希望对以后那些刚刚接触的菜鸟们能起到一定的帮助作用。安装过程中可能遇到的问题（注
HttpClient 4.3 设置keeplive 和 timeout 的方法 supben httpclient
ConnectionKeepAliveStrategy kaStrategy = new DefaultConnectionKeepAliveStrategy() { @Override public long getKeepAliveDuration(HttpResponse response, HttpContext context) { long keepAlive
Spring 4.2新特性-@Import注解的升级 wiselyman spring 4
3.1 @Import @Import注解在4.2之前只支持导入配置类在4.2,@Import注解支持导入普通的java类,并将其声明成一个bean 3.2 示例演示java类 package com.wisely.spring4_2.imp; public class DemoService { public void doSomethin

LSTM反向传播公式推导

1、正向传播

2、反向传播

3、总结

你可能感兴趣的:(神经网络,lstm)