LLM并行计算的论文

LLM并行计算的论文

基础并行计算方法相关

  • 《Gpipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism》:提出了Gpipe这种流水线并行方法,通过将数据批量进一步等分成若干microbatch,并以流水线的方式执行,减少计算中空泡的比例,极大地拓展了模型的规模,可应用于CNN和Transformer架构等,并且在设备通信等方面做了优化,有效提升了计算效率.
  • 《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》:实现了Transformer架构下的层内张量并行,可和数据并行、流水线并行搭配使用。其通过对Transformer单元中的两层MLP和多头自注意力模块等进行巧妙的并行划分,减少了同步通信开销,在大规模GPU集群上取得了良好的吞吐量扩展,比如在512张GPU的规模下可以取得76%的扩展效率.

特定并行策略及优化相关

  • *《Parallelized Autoregressive Visual Generation》

你可能感兴趣的:(2021,论文,2021,AI,python,教学,人工智能,自然语言处理,语言模型)