【深度学习】Attention提速9倍!FlashAttention燃爆显存,Transformer上下文长度史诗级提升...
转载自|新智元继超快且省内存的注意力算法FlashAttention爆火后,升级版的2代来了。FlashAttention-2是一种从头编写的算法,可以加快注意力并减少其内存占用,且没有任何近似值。比起第一代,FlashAttention-2速度提升了2倍。甚至,相较于PyTorch的标准注意力,其运行速度最高可达9倍。一年前,StanfordAILab博士TriDao发布了FlashAttent