lstm(三) 模型压缩lstmp

lstmp结构

对于传统的lstm而言

it=δ(Wixxt+Wimmt−1+Wicct−1+bi)

ft=δ(Wfxxt+Wfmmt−1+Wfcct−1+bi)

ct=ft⊙ct−1+it⊙g(Wcxxt+Wcmmt−1+bc)

ot=δ(Woxxt+Wommt−1+Wocct+bo)

mt=ot⊙h(ct)

yt=ϕ(Wymmt+by)

假设一层中的cell个数为 nc ，输入维度为 ni ，输出维度为 no ，那么对应的参数量为：

W=nc∗nc∗4+ni∗nc∗4+nc∗no+nc∗3

lstmp是lstm with recurrent projection layer的简称，在原有lstm基础之上增加了一个projection layer，并将这个layer连接到lstm的输入。此时的网络结构变为

it=δ(Wixxt+Wirrt−1+Wicct−1+bi)

ft=δ(Wfxxt+Wfrrt−1+Wfcct−1+bi)

ct=ft⊙ct−1+it⊙g(Wcxxt+Wcrrt−1+bc)

ot=δ(Woxxt+Worrt−1+Wocct+bo)

mt=ot⊙h(ct)

rt=Wrmmt

yt=ϕ(Wyrrt+by)

projection layer的维度设为 nr ，那么总的参数量将会变为：

W=nc∗nr∗4+ni∗nc∗4+nr∗no+nc∗nr+nc∗3

通过设置 nr 的大小，可以缩减总的参数量。

lstm压缩

直接训练lstmp网络结构

为了减少矩阵的参数量，重点优化，以 Wix 和 Wim 为例，相关参数量的变化如下：

对lstm的参数做SVD压缩

参考[3]，对已有的参数做压缩，主要两个矩阵：inter-layer矩阵 [Wix,Wfx,Wox,Wcx]T 和recurrent 矩阵 [Wim,Wfm,Wom,Wcm]T
通过奇异值的设定将两个矩阵转化为三个小矩阵，其中一个小矩阵作为lstmp中projection layer的参数。

参考

[1].Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
[2].long short-term memory recurrent neural network architectures for large scale acoustic modeling
[3].ON THE COMPRESSION OF RECURRENT NEURAL NETWORKS WITH AN APPLICATION TO LVCSR ACOUSTIC MODELING FOR EMBEDDED SPEECH RECOGNITION