低资源大语言模型LLM研究者的希望 LIMA + 4Bit 量化训练

人类的大模型炼丹可能也遵从2/8规则,RLHF训练能增强20%的大模型响应能力但是需要花费额外80%的训练成本。

LIMA模型的研究 (https://arxiv.org/abs/2305.11206)给大家指明了可能的低资源条件下大模型研究方向,概括起来就是以下几点:

1 。 指令微调只是给模型增加风格,并不能提升能力

2。指令微调数据的质量, 每条指令遵从的质量和多样性才是关键。

3。RLHF人类遵从的强化学习训练不是必要的

越大的模型才有越强的潜力,65B可能成为黄金分割点,兼顾成本与效果的平衡。

LIMA在65B参数上用1000条微调数据达到了可接受的水平,这给个人研究者带来了一定的希望,具体方法是:

1.  4Bit 训练方法,可以在A6000或6000 ADA这样的消费级显卡上进行65B模型的微调

        4bit微调框架:kuleshov-group/llmtune: 4-Bit Finetuning of Large Language Models on One Consumer GPU (github.com)

   QLora 框架,精度损失更小:artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs (github.com) 

2. 人工收集加工1000条或稍多的高质量指令微调数据成为可能

        数据需要高质量(多样性,每条的质量要好)

预测后面的 大模型研发工作将进入井喷状态,各种大模型会层出不穷。

挑战: 从论文和最近社区的实践来看,这种方法可能不会达到完全状态,很难超越GPT4或其它类似模型,但是可以让开源模型达到可实用阶段。

你可能感兴趣的:(语言模型,深度学习,人工智能)