时序CNN基础——TCN

自用~~笔记~~

知识补充：

空洞卷积（膨胀卷积）——Dilated Conv

    在标准卷积的基础上注入空洞，以此来增加感受野（reception field）。因此增加一个超参：膨胀率，指kernel的间隔数量。

因果卷积

传统的CNN无法直接处理sequence模型这种序列问题，所以使用因果卷积，其作用就是解决序列问题。

Wavenat

wavenet是一种全卷积的模型，包含了多个多层如下dilated的结构，随着dilated conv深度增加，来指数性地增大感受野，捕获序列之间较长的时间关系。

       如图，隐层中每一层的节点都会把该原来的值和通过激活函数的值相加后传递给下一层，其中1x1的卷积核用来实现降通道数的操作。然后每一个隐层的过激活函数后的结果相加做一系列操作后传给输出层。

wavenet是使用在语音信号上发表的。

 TCN

网络结构：

上图（b）为整体网络结构分为左边和右边两部分：

•  左边：                                                                                                                                              Dilated Causal Conv ---> WeightNorm--->ReLU--->Dropout--->Dilated Causal Conv ---> WeightNorm--->ReLU--->Dropout                                                                                                     即为：（Dilated Causal Conv ---> WeightNorm--->ReLU--->Dropout）*2

分别对上部分讲解（这里除了因果膨胀卷积外，几乎可以说和Resnet一样，去看resnet就很好理解了，然后把卷积换成因果膨胀卷积）

残差模块参考：ResNet详解_qq_45649076的博客-CSDN博客_resnet

残差模型：

 

1. 因果膨胀卷积

2. weightnorm

权重归一化，对权重值进行归一化。

模型优化学习：模型优化之Weight Normalization - 知乎

优点：

1. 时间开销小，运算速度快
2. 引入更少噪声
3. weightnorm是通过重写深度网络的权重来进行加速的，没有引入对minibatch的依赖

3.ReLU 激活函数

4. Dropout  丢弃

防止过拟合，提高模型运算速率

最后采用了全卷积网络（这样输入输出维度会一致）。

优点：

1. 并行性。对比RNN可以并行处理
2. 感受野灵活。
3. 稳定的梯度。减少梯度爆炸和消失的问题。
4. 内存更低。

缺点：

1. TCN在迁移学习方面没有很强的适应能力。因为其感受野不够大，在将一个模型从一个对记忆信息需求量少的问题迁移到一个需要更长记忆的问题时。
2. 单箱结构
3. 卷积大小还是相比transformer任意长度的相关信息都可以抓取到的特性差。

TCN源码解读

待续.......

参考链接：

TCN(Temporal Convolutional Network)时间卷积网络pytorch实战 - 朴素贝叶斯 - 博客园

TCN论文及代码解读总结_我是chios的博客-CSDN博客_tcn论文

机器学习进阶之 时域/时间卷积网络 TCN 概念+由来+原理+代码实现_un_lock的博客-CSDN博客_tcn网络