【每日论文】Forgetting Transformer: Softmax Attention with a Forget Gate
下载PDF或查看论文,请点击:LlamaFactory-huggingfacedailypaper-每日论文解读|LlamaFactory|LlamaFactory摘要现代循环序列模型的一个关键组件是遗忘门。虽然Transformer没有显式的循环形式,但我们展示了一种通过以数据依赖的方式降低未归一化注意力分数的自然方法,将遗忘门融入Transformer。我们称这种注意力机制为“遗忘注意力”,并