A Survey on Large Language Model Acceleration based on KV Cache Management

本文是LLM系列文章,针对《A Survey on Large Language Model Acceleration based on KV Cache Management》的翻译。

基于KV缓存管理的大型语言模型加速研究综述

  • 摘要
  • 1 引言
  • 2 前言
  • 3 分类
  • 4 token级优化
  • 5 模型级优化
  • 6 系统级优化
  • 7 文本和多模态数据集
  • 8 结论

摘要

大型语言模型(LLM)因其理解上下文和执行逻辑推理的能力,彻底改变了自然语言处理、计算机视觉和多模态任务等广泛领域。然而,LLM的计算和内存需求,特别是在推理过程中,在将其扩展到现实世界、长上下文和实时应用程序时带来了重大挑战。键值(KV)缓存管理已成为一种关键的优化技术,通过减少冗余计算和提高内存利用率来加速LLM推理。本调查全面概述了LLM加速的KV缓存管理策略,将其分为token级、模型级和系统级优化。token级策略包括KV缓存选择、预算分配、合并、量化和低秩分解,而模型级优化则侧重于架构创新和注意力机制,以增强KV重用。系统级方法解决了内存管理、调度和硬件设计问题,以提高不同计算环境的效率。此外,该调查还概述了用于评估这些策略的文本和多模态数据集以及基准。通过提供详细的分类和比较分析,这项工作旨在为研究人员和从业者提供有用的见解,以支持高效和可扩展的KV缓存管理技术的开发,为LLM在现实世界应用中的实际部署做出贡献。KV缓存管理的精选论文列表如下:https://githu

你可能感兴趣的:(LLM,Daily,Survey,Paper,LLM,Inference,语言模型,人工智能,自然语言处理)