重构Transformer神经网络：优化的自注意力机制和前馈神经网络

原文

标题：重构Transformer神经网络：优化的自注意力机制和前馈神经网络

摘要：
本论文研究了一种改进的Transformer神经网络模型，该模型使用区别于传统自注意力机制的新型注意力机制，以及优化的前馈神经网络。而且，该模型还引入了非线性激活函数以增强模型的表现力。实验表明，这种优化的Transformer模型可以在不影响性能的同时，大大降低计算复杂性。

一、引言：

自近年来，深度学习的发展日新月异，导致在处理机器翻译、语言建模以及其他一系列复杂任务时，增强了计算机的能力。其中，Transformer神经网络模型以其强大的并行处理和全局上下文建模能力被广泛应用。然而，现有的Transformer模型存在着计算复杂性高、需要大量计算资源的问题。因此，本研究的目标是设计一种新颖的、优化的Transformer神经网络模型，以同时保持强大的性能和降低计算复杂性。

二、改进的Transformer神经网络模型：

1. 新型的注意力机