TCN时间卷积网络介绍

绪论

TCN, Temporal Convolutional Network,时间卷积网络，是一种能够处理时间序列数据的网络结构，论文还评为 2018年10大论文。

1. 模型

输入： $$x_0,x_1,...,x_t$$;
输出：$$y_0,y_1,...,y_t$$
根据输入序列，推断新的可能信息是什么，使用评判机制去评价预测效果的好坏，比如普通全连接层会使用MSE作为损失函数。
$$minL(y_0,...,y_t,f(x_0,...,x_t))$$
下面来看看TCN的模型结构图

可以看出，TCN使用 空洞卷积核（dilated convolutions）来解决获取整个序列的全局信息，并且设置了 残差结构 Residual block。
1.1 空洞卷积核
空洞卷积核使用公式描述：
$$F(s)=\sum _{i=0}^{k-1}f(i)\cdot {\mathbf{x}}_{s-d\cdot i}$$
1.2 残差连接
公式描述：
$$o=Activation(\mathrm{x}+\mathcal{F}(\mathrm{x}))$$

2.总结

网络结构特点：
1.并行性
由于CNN每一层使用相同的卷积核，因此一个长序列输入可以用TCN并行处理
2. 灵活的感受视野
比如改变卷积核的参数，容易控制模型的记忆大小；
3. 固定的梯度
4. 更小的内存训练
5. 可变的输入长度

---

个人感想，这个TCN还是不明白为什么这麽有效，难道使用空洞卷积核扩大模型对全局的视野吗。

---

参考：

1. 论文详解 blog;
2. 原论文;
3. github model;