人工智能论文术语集41

• a concrete example： 具体的实例
• re-computation overhead： 重新计算的开销
• Despite the significant reduction 尽管显著减少
• consumes non-trivial amount of memory 消耗大量内存
• the fused buffer 被融合的缓存区
• Residual 残差
• memory hierarchy：内存层次，我们可以把内存（包括显存）划分为三个层次，SRAM（GPU，其带宽非常大，但是存储较小），HBM（GPU，带宽低于SRAM，但是存储较大），DRAM（CPU，就是传统内存，带宽较小，但是存储可以非常大），一般情况下，大模型的层计算受存储影响都会在HBM中进行，但是传输效率较低，并没有利用SRAM的特性，一些优化手段（如：FlashAttention）从这个点出发，进行优化。
• Illustration：图示
• omitted：忽略
• blank out：刻意忽略
• span：小跨度
• antecedents: 先行词（前面的词）
• subsequent tokens： 后续词（后面的词）
• attend to： 利用
• Scatter/gather: 分散/聚集