基于tf2.0的小波长短时记忆网络

         这几天由于疫情出不了门，看到小波神经网络（其实就是BP的激活函数换成了小波基），另外学了一下tf2.0（习惯tf1的会很不习惯tf2.0，但是习惯torch的就会很习惯），就在家里做了基于tf2.0的小波神经网络、多层小波神经网络与小波长短时记忆网络，并将这几种网络用于时间序列预测。

          1、小波神经网络

          输入层-隐含层-小波基-输出层，结构参数如图1所示，结果如图2

                                              

                                                                                      图1  WNN

 

 

                                                                            图2 训练过程LOSS曲线与预测结果

WNN测试集的mape: 0.1339909089129066  rmse: 0.5694716893056084  mad: 0.4278998032956062  R2: 0.9222714818686699  tic: 0.06524600712982993

  2、多层小波神经网络

          输入层-隐含层1-小波基-隐含层2-小波基-隐含层3-小波基-输出层，结构参数如图3所示，结果如图4

                                                     

                                                                                          图3 多隐层WNN

 

                                                                            图4 训练过程LOSS曲线与预测结果

多隐层WNN测试集的

mape: 0.1288010539225133  rmse: 0.5117879709690429  mad: 0.3966885643349611  R2: 0.9372207303058855  tic: 0.057742995312087826

3、小波长短时记忆神经网络

          输入层-LSTM层-小波基-输出层，结构参数如图5所示，结果如图6所示：

                                             

                                                                                 图5 小波长短时记忆网络

                                                                            图6 训练过程LOSS曲线与预测结果

Wavelet LSTM测试集的mape: 0.09460833775830375  rmse: 0.3685212105551455  mad: 0.27542644922659676  R2: 0.9674492432665653  tic: 0.042322784636116696
           分析结果可知：3种模型的效果从优到劣依次是：Wavelet  LSTM，多隐含层WNN，WNN。