什么是Transformer

什么是transformer

参考资料：

https://zhuanlan.zhihu.com/p/82312421

https://zhuanlan.zhihu.com/p/48508221

https://www.51cto.com/article/711953.html

https://www.infoq.cn/article/qbloqm0rf*sv6v0jmulf

https://zh.wikipedia.org/wiki/Transformer%E6%A8%A1%E5%9E%8B

---

自 2014 年推出以来，基于递归神经网络的序列到序列模型得到了很多人的关注。目前世界上的大多数数据都是以序列的形式存在的，它可以是数字序列、文本序列、视频帧序列或音频序列。

2015 年增加了注意力机制（Attention Mechanism），进一步提高了这些seq2seq模型的性能。在过去的五年里，自然语言处理的进步如此之快，令人难以置信！

Transformer是一种采用自注意力机制的深度学习模型。这一机制可以按输入数据各部分重要性的不同而分配不同的权重。Transformer模型于2017年由谷歌大脑的一个团队推出[2]，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。

Transformer解决的问题是：

• 同时轻松处理长期依赖（long-range dependencies）问题

---

结论，这是一个seq2seq的model，对于CV来说，不是非常有借鉴意义。