Lookahead加速LLM推理过程

传统的推理过程是逐个生成令牌（token），导致时间消耗与生成的令牌数量成正比。输入输出（IO）和计算消耗时间是影响LLMs推理延迟的关键因素，尤其是IO消耗时间与模型大小和内存带宽高度相关。

Lookahead框架：

引入了多分支策略，通过基于Trie树的检索（Trie-based Retrieval, TR）过程，同时生成多个分支（每个分支是一系列令牌），然后通过验证和接受（Verification and Accept, VA）过程确定最长正确子序列作为最终输出。

该策略保证了输出的绝对正确性，避免了近似算法，并且最坏情况下的性能与传统过程相当。

【PS: 多分支策略：通过并行处理多个分支，提高了有效解码长度（Effective Decoding Length, EDL），从而显著提高了推理速度。

Trie树：用于高效地记录输入和输出令牌列表，支持基于上下文令牌的多路径预测。

自适应策略：优化路径检索过程，平衡内存和计算需求。】

多分支是否会需要更多资源呢？需要是一定需要的，但也有管理资源的方法：

Trie树优化：Trie树是一种高效的数据结构，用于存储和检索字符串。在Lookahead框架中，Trie树用于记录和检索多个分支。虽然这会增加一定的内存需求，但通过动态更新Trie树（包括分支插入、消除和节点修剪），可以有效地控制Trie树的大小，从而优化内存消耗。

自适应策略：Lookahead框架采用了自适应策略来平衡内存和计算需求。这意味着它会根据当前的资源限制（如显存大小）来调整分支的数量和长度，以确保在不牺牲推理速度的情况下，尽可能地利用可用资源。

显存使用：论文中提到，即使在解码长度达到128的情况下，Lookahead框架导致的GPU显存增加也仅有0.6%，这表明显存的增加是相对较小的。此外，对于CPU内存，Trie树的消耗也非常有限，例如在AntRAG数据集上，Trie树仅占用了260 MiB的内存。

容量调整：为了确定Trie树的最佳容量，作者进行了实验，发现将Trie树的节点容量设置为解码长度的16倍时，可以获得最佳性能（16和32都挺好的 但他们默认设置的是16）。这种动态调整有助于在保持推理速度的同时，最小化资源消耗。