训练中文版chatgpt

1. 斯坦福的模型——小而低廉：Alpaca: A Strong Open-Source Instruction-Following Model

原文链接：https://mp.weixin.qq.com/s/PqKue-D7HTne2gC7UzT4Xg
官网地址：https://crfm.stanford.edu/2023/03/13/alpaca.html
模型入口：https://crfm.stanford.edu/alpaca
github地址：https://github.com/tatsu-lab/stanford_alpaca

为了提高模型性能，来自斯坦福的研究者帮助其完成了指令微调的工作，训练了一个名为 Alpaca（羊驼）的 70 亿参数新模型（基于 LLaMA 7B）。具体来说，他们让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循（instruction-following）样本，以此作为 Alpaca 的训练数据。实验结果表明，Alpaca 的很多行为都与 text-davinci-003 类似。也就是说，只有 7B 参数的轻量级模型 Alpaca 性能可媲美 GPT-3.5 这样的超大规模语言模型。

Alpaca是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。在8个80GB A100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。

但是，Alpaca是不能用于商业用途，只能用于学术研究。具体原因有三：

1. LLaMA是一个非商业许可的模型，Alpaca是基于该模型生成的；

2. 指令数据是基于OpenAI的text-davinci-003，其使用条款禁止开发与OpenAI竞争的模型；

3. 没有设计足够多的安全措施，所以Alpaca还没有做好广泛使用的准备

除此之外，斯坦福研究人员总结了Alpaca未来研究会有三个方向。

评估：
从HELM（语言模型的整体评估）开始捕捉更多的生成性、遵循指令的场景。
安全：
进一步研究Alpaca的风险，并使用自动红队分组、审计和适应性测试等方法提高其安全性。
理解：
希望能更好地理解模型能力是如何从训练方法中产生的。需要基础模型的什么属性？扩大模型规模时会发生什么？需要指令数据的什么属性？在GPT-3.5上，除了使用自生成指令，还有什么替代方法？

2. Meta 模型：LLaMA：open and efficient foundation language models

论文地址：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

2023年2月底，Meta推出了最新的语言模型LLaMA，参数量分别是70亿（7B）、130亿（13B）、330亿（33B）和650亿（65B）。评测结果显示，其13B版本便可以与GPT-3相媲美。

3.ChatGLM

原文链接：https://hub.baai.ac.cn/view/24832

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

具体来说，ChatGLM-6B具备以下特点：

1、充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。
2、优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
3、较低的部署门槛：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。
4、更长的序列长度：相比 GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长对话和应用。
5、人类意图对齐训练：使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人类指令意图的能力。输出格式为markdown，方便展示。