大模型LLM-微调经验分享&总结

        模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。liucongg/ChatGLM-Finetuning: 基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等 (github.com)https://github.com/liucongg/ChatGLM-Finetuning

１＞Ｆｒｅｅｚｅ

２＞Ｐ－ｔｕｎｉｎｇ

３＞Ｌｏｒａ

【NLP】LoRA——大模型的低成本微调方法 - 知乎 (zhihu.com)

(311条消息) 什么是LoRA模型，如何使用和训练LoRA模型？你想要的都在这！_yang7711的博客-CSDN博客 (311条消息) 大模型训练——PEFT与LORA介绍_常鸿宇的博客-CSDN博客//讲的特别好 

 

DeepSpeed 是一个深度学习优化库，它可以使分布式训练变得容易、高效和有效。

microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. (github.com)

DeepSpeed超大规模模型训练工具 - 知乎 (zhihu.com)

参考资料：

大模型LLM-微调经验分享&总结 - 知乎 (zhihu.com)

预训练大语言模型的三种微调技术总结：fine-tuning、parameter-efficient fine-tuning和prompt-tuning的介绍和对比 - 知乎 (zhihu.com)

(310条消息) 【prompt】什么是 Soft Prompt 和 Hard Prompt ?_vector<>的博客-CSDN博客

软提示词和硬提示词（soft prompt & hard prompt）_赏月斋的技术博客_51CTO博客

(310条消息) 大模型训练——PEFT与LORA介绍_常鸿宇的博客-CSDN博客//讲的特别好