LLM包含的知识

1. 基础知识

   

   磨刀不误砍柴工，LLM基础知识还是需要的。会按照历史梳理LM，详解BERT、GPT系列等各种预备核心知识点，并带着进行GPT预训练实战、位置编码（长文本问题）实战等。

2. 数据工程

   

   数据很重要，数据是天花板，算法只是无限接近天花板。LLM的第一步就是数据处理，国外的很多SoTA研究都基于此。

3. 分布式训练框架

   

   大语言模型的“大”，就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。

4. 微调

   

   LLM微调最费机器，所以也是知识点最多的地方，比如详解各种PEFT方法、LoRA、QLoRA（两种量化、Page Optimizer等）、RLHF（强化学习基础、RW、PPO和PPO-max）等，以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。

5. 推理和部署优化

   

   LLM模型搞定，就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。

6. 评测和分析

   

   LLM有输出啦，那么如何评测呢，又该评测哪些呢？这些问题又是哪里导致的呢？这里会一一进行讲解。

7. 应用

   

   目前应用最火的就是Agent、langchain、RAG了，