LongLoRA 介绍

本文将介绍一篇关于使用局部注意力来微调长上下文 LLM 的文章。文章的要点如下：

• 提出了一种新的局部注意力机制，称为 Shift Short Attention，它可以有效地减少 LLM 处理长上下文所需的计算量。
• 在 LongQA 数据集上对 LongLoRA 进行了评估，结果表明 LongLoRA 在处理长上下文任务上的性能优于其他方法。
• LongLoRA 的代码和模型已开源。

正文

一、背景

随着 LLM 的发展，人们越来越需要 LLM 能够处理长上下文。然而，传统的 LLM 在处理长上下文时会遇到计算量过大的问题。这是因为 LLM 在计算注意力时，需要考虑所有上下文中的 token，这导致计算量随着上下文长度的增加而呈平方级增长。

二、LongLoRA

为了解决这个问题，本文提出了 LongLoRA，一种使用局部注意力来微调长上下文 LLM 的方法。LongLoRA 的主要思想是，在计算注意力时，只考虑上下文中的局部区域，而不是整个上下文。这可以有效地减少计算量，同时又不影响 LLM 的性能。

LongLoRA 的具体实现如下：

1. 将上下文分成若干个局部区域。
2. 在每个局部区域内，计算 token 之间的注意力。
3. 将各个局部区域的注意力结果组合起来，得到最终的注意力结果。

三、实验结果

在 LongQA 数据集上对 LongLoRA 进行了评估，结果表明 LongLoRA 在处理长上下文任务上的性能优于其他方法。具体来说，LongLoRA 在 LongQA 数据集上的准确率为 82.3%，而其他方法的准确率均低于 80%。

四、总结

LongLoRA 是一种使用局部注意力来微调长上下文 LLM 的有效方法。LongLoRA 可以有效地减少计算量，同时又不影响 LLM 的性能。LongLoRA 的代码和模型已开源，可以方便地用于实际应用。

GitHub - THUDM/LongBench: LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding