Transformer vs dilated convolutions

transformer和“dilated temporal convolutions”都是一些用于处理序列数据的神经网络结构，它们可以应用于一些需要考虑时序信息的任务，如动作分割、3D人体姿态估计等。它们之间的优势和劣势可以从以下几个方面进行比较：

- 模型复杂度：transformer的自注意力机制需要计算输入序列中每个元素与其他所有元素之间的相关性，这个计算的时间和空间复杂度都是输入序列长度的平方。因此，当输入序列过长时，transformer会消耗过多的计算资源和存储空间，导致效率降低和性能下降。而“dilated temporal convolutions”可以通过扩张（dilation）技术来增加感受野（receptive field），从而在保持线性复杂度的同时捕捉长距离依赖关系。因此，“dilated temporal convolutions”在模型复杂度上有优势。
- 表达能力：transformer的自注意力机制可以捕捉输入序列中任意两个元素之间的相关性，从而实现全局对齐（global alignment）和全局上下文（global context）。这样可以使得transformer能够更好地理解输入序列的语义和结构，并生成更准确和流畅的输出序列。而“dilated temporal convolutions”只能捕捉输入序列中局部区域内的相关性，从而实现局部对齐（local alignment）和局部上下文（local context）。这样可能会导致“dilated temporal convolutions”忽略一些重要的全局信息或者产生一些不自然的输出序列。因此，transformer在表达能力上有优势。
- 优化难度：transformer由于其全连接（fully-connected）的特性，容易产生梯度消失或爆炸（vanishing or exploding gradient）等优化问题。因此，transformer需要采取一些特殊的技巧来稳定训练过程，如缩放（scaling）、掩码（masking）、位置编码（position encoding）、层归一化（layer normalization）等。而“dilated temporal convolutions”由于其卷积（convolutional）的特性，相对容易进行优化，不需要太多额外的技巧。因此，“dilated temporal convolutions”在优化难度上有优势。

综上所述，transformer与“dilated temporal convolutions”相比，有各自的优势和劣势，没有绝对的好坏之分。它们适用于不同的任务和数据集，需要根据具体情况进行选择和设计。如果您想了解更多关于这两种网络结构的细节和应用，请参考以下链接¹²³。

(1) 3D Human Pose Estimation with Spatial and Temporal Transformers - arXiv.org. https://arxiv.org/pdf/2103.10455.pdf.
(2) Exploiting Temporal Contexts with Strided Transformer for 3D Human Pose .... https://arxiv.org/pdf/2103.14304.pdf.
(3) Do we really need temporal convolutions in action segmentation?. https://arxiv.org/abs/2205.13425.
(4) 3D Human Pose Estimation with Spatial and Temporal Transformers - arXiv.org. https://arxiv.org/pdf/2103.10455.pdf.
(5) 3D Human Pose Estimation with Spatial and Temporal Transformers - arXiv.org. https://arxiv.org/pdf/2103.10455.pdf.
(6) Do we really need temporal convolutions in action segmentation?. https://arxiv.org/abs/2205.13425.
(7) undefined. https://github.com/zczcwh/PoseFormer.
(8) undefined. https://github.com/Vegetebird/StridedTransformer-Pose3D.