大模型训练

ColossalChat:具有完整 RLHF 管道的克隆 ChatGPT 的开源解决方案

https://medium.com/pytorch/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b

ChatGLM Efficient Tuning

包含RLHF训练

ChatGLM-Efficient-Tuning/README_zh.md at main · hiyouga/ChatGLM-Efficient-Tuning · GitHub

ChatGLM-6B-PT

本仓库实现了对于 ChatGLM-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%,再通过模型量化、Gradient Checkpoint 等方法,最低只需要 7GB 显存即可运行。

https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md

你可能感兴趣的:(人工智能)