tensorflow 2.0 循环神经网络 之 RNN

语义分析

对文本进行语义二分类，也就是根据一句话判定句子情感是积极的还是消极的。

提出模型-全连接

存在问题：

1. 每个单词全连接，参数量极大。
2. 没有语义相关性。

解决参数量大的问题-Weight sharing

通过权值共享来极大减少参数量。

解决没有语义相关性-Consistent memory

通过一致性内存机制来产生单词之间的语义相关和连绵性。

RNN

动态结构

公式

$h_t=f_w(h_{t-1},x_t)$
$h_t=tanh(W_{hh}{h}_{t-1}+W_{xh}{x}_t)$
$y_t=W_{hy}{h}_t$

注：$h_0$ 常是 零向量。

如何训练

求导

$h_t=\tanh \left(W_I{x}_t+W_R{h}_{t-1}\right)$
$y_t=W_O{h}_t$

求导：

$\frac{\partial E_t}{\partial W_R}={\sum }_{i=0}^t\frac{\partial E_t}{\partial y_t}\frac{\partial y_t}{\partial h_t}\frac{\partial h_t}{\partial h_i}\frac{\partial h_i}{\partial W_R}$

$\frac{\partial h_t}{\partial h_i}=\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial h_{t-2}}\dots \frac{\partial h_{i+1}}{\partial h_i}={\prod }_{k=i}^{t-1}\frac{\partial h_{k+1}}{\partial h_k}$

$f=\tanh (x)$
$\frac{\partial h_{k+1}}{\partial h_k}=\mathrm{diag}\left(f^{\prime }\left(W_I{x}_i+W_R{h}_{i-1}\right)\right)W_R$
$\frac{\partial h_k}{\partial h_1}={\prod }_i^k\mathrm{diag}\left(f^{\prime }\left(W_I{x}_i+W_R{h}_{i-1}\right)\right)W_R$

可见，反向传播导数相当复杂。