主流开源大语言模型的微调方法

文章目录

  • 模型
    • ChatGLM2
      • 网址
      • 原生支持微调方式
    • ChatGLM3
      • 网址
      • 原生支持微调方式
    • Baichuan 2
      • 网址
      • 原生支持微调方式
    • Qwen
      • 网址
      • 原生支持微调方式
  • 框架
    • Firefly
    • Efficient-Tuning-LLMs
    • SuperAdapters

模型

ChatGLM2

网址

https://github.com/thudm/chatglm2-6b

原生支持微调方式

https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning

全量微调和 P-Tuning v2

ChatGLM3

网址

https://github.com/THUDM/ChatGLM3

原生支持微调方式

https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md

全量微调和 P-Tuning v2

Baichuan 2

网址

https://github.com/baichuan-inc/Baichuan2

原生支持微调方式

全量微调和Lora

Qwen

网址

https://github.com/QwenLM/Qwen/blob/main/README_CN.md

原生支持微调方式

全参微调、LoRA以及Q-LoRA

框架

Firefly

https://github.com/yangjianxin1/Firefly
支持市面绝大多数模型的QLoRA和全量参数微调

Efficient-Tuning-LLMs

https://github.com/jianzhnie/Efficient-Tuning-LLMs/blob/main/README_zh.md
支持市面少数模型的QLoRA和全量参数微调

SuperAdapters

https://github.com/cckuailong/SuperAdapters
支持市面绝大多数模型的各种微调

你可能感兴趣的:(自然语言处理,语言模型,人工智能,自然语言处理)