【TCN回归预测】TCN时间卷积神经网络数据回归预测（多输入单输出）【含Matlab源码 2317期】

⛄一、1 网络结构

1.1 时间卷积神经网络
1.1.1 扩张卷积
针对短时交通流预测等序列任务,需要对前一段时间内的交通流进行建模,不能仅仅依靠上一时刻交通流。而传统全连接神经网络在相邻层之间进行全连接,同一层的不同单元之间没有连接,这样的全连接结构只能学到数据之间的关联信息,而无法获取其序列信息。LSTM、GRU等RNN结构的网络通过内部存储单元将“记忆”固化,并向后传递,学习其序列信息。卷积神经网络可以通过卷积计算形成“记忆”,感受野的大小反映了使用多少数据生成“记忆”。在序列预测任务上使用卷积神经网络最大的问题是如何获取序列的长时记忆。

在卷积神经网络中,感受野指的是特征图(Feature Map)上的节点在输入图片上映射区域的大小。为了更好地获取长时记忆,关键就是扩大感受野。如图1所示,深色表示第3层某一节点可“看到”的区域。当卷积层数为l,每层卷积核大小为k时,感受野大小为(k-1)×l+1。卷积神经网络的感受野大小与卷积核大小、卷积层数呈线性关系。因此,增加卷积层以及增大卷积核均能扩大感受野。但更深的卷积层数以及更大的卷积核,使得网络参数量庞大,难以完成训练。将3个3×3卷积核进行堆叠,可以使其感受野与一个7×7卷积核的感受野大小相同,但3个3×3卷积核的参数量约为27C(C表示常数),一个7×7卷积核的参数量是49C。在卷积神经网络中,通常偏向于使用不太大的卷积核,较大的卷积核会使得网络参数急剧增加,运算复杂度增加。另外,增大步长(Stride)或者增加池化层(Pooling)也可以更好地获取长时记忆,但有可能造成严重的信息丢失。

图1 感受野(k=3,l=2)
另外一种方法就是使用扩张卷积,与一般卷积相比,扩张卷积除了卷积核大小外,增加了用来表示扩张大小的扩张系数(Dilation Rate)。

扩张卷积的计算公式定义为