ChatGPT 相关资料收集

本文地址:blog.lucien.ink/archives/538

本文用来收集各种和生成式模型相关的内容,由于 ChatGPT 是其代表,也是会被写入人类历史进程的一个名字,所以便用 ChatGPT 作为标题的一部分,以表示我对 OpenAI 团队由衷的敬佩。

2023-04-02 更新

  • Improving Language Understanding by Generative Pre-Training (2018)

    • 介绍了 GPT 的结构和训练方式,文章提到未来可以继续拓展的几个方向。其中一个便是模型在 ZERO-SHOT 的设定下,模型的表现与堆叠的解码器层数有直接的正相关性。
  • Language Models are Unsupervised Multitask Learners (2019)

    • 文章认为对单任务单领域的训练是模型缺乏泛化能力的主要原因,实践验证仅靠预训练 + 提示 + 预测就在8/9个任务里达到了SOTA。
  • Language Models are Few-Shot Learners (2020)

    • 继续探索了在不对下游任务进行适配(模型结构不更改、参数不更新)的情况下,模型的表现。
  • Training language models to follow instructions with human feedback (2022)

    • 探索了指示学习和基于人工反馈的强化学习训练,基本上约等于 ChatGPT。
  • LoRA: Low-Rank Adaptation of Large Language Models (2021)

    • 提出通过训练一个低秩参数矩阵来进行模型微调,相较于直接微调整个模型,能在损失较少精度的情况下大幅降低训练成本。
  • Self-Instruct: Aligning Language Model with Self Generated Instructions(2022)

    • 让模型尝试通过半监督的方式自己去生成指令样本,能取得不错的效果。
  • LLaMA: Open and Efficient Foundation Language Models

    • 训练了从 7B 到 65B 的一组模型,全部贡献给开源社区,且 LLaMA-13B 在多数基准测试中优于 GPT-3(175B)。
    • 验证了公开数据集的可行性,以及小模型(相比 OpenAI 的规模)的潜力。
    • 开源模型地址:huggingface.co/decapoda-research
  • Stanford Alpaca: An Instruction-following LLaMA Model

    • 花了 $500 去调用 OpenAI 的 text-davinci-003 并收集数据,然后用这些数据花了 $100 来微调 LLaMA-7B 模型,得到了一个效果还不错的模型,取名为 Alpaca,模型未开源。
    • 公开了生成数据的代码,以及对应的数据集:alpaca_data.json
  • Guanaco: A Multilingual Instruction-Following Language Model Based on LLaMA 7B

    • 同样是对 LLaMA-7B 进行微调,不同的是在 alpaca_data.json 的基础上增加了对繁简体中文及日语的指令,共计 534530 条,数据集地址:Guanaco Dataset。
  • Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality

    • 花了 $300 左右,使用 用户共享的数据 来对 LLaMA-13B 进行微调,可以在 GPT-4 的评测 下达到 ChatGPT 90% 的水平。
    • Demo: Vicuna Online Demo,源码:FastChat,暂未公开模型。
    • ShareGPT Github: domeccleston/sharegpt
  • BELLE: Be Everyone’s Large Language model Engine

    • 来自 链家 的技术团队,提供了训练代码、数据、模型,包含一些中文改进。HuggingFace 主页:BelleGroup
  • Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model

    • 在 LLaMA 的基础上使用 BELLE 和 Guanaco 训练了 lora,提供了代码和训练过的 Lora。HuggingFace 主页:Chinese-Vicuna

暂时先收集这些,总结下来就一句话:OpenAI 不够体面,开源社区帮他体面。以及作为马后炮,我认为在对 GPT 现代化改进的加持下,于多数日常任务来说,10B 左右的规模应该是足够的。


2023-04-04 更新

今天 vicuna 放出了他们的模型:lmsys/vicuna-13b-delta-v0

2023-04-06 更新

  • Koala: A Dialogue Model for Academic Research
    • 主要是使用 EasyLM 提升了训练速度,使用 8 张 A100 完成两轮 epoch 只需要 6 个小时,大大降低了训练成本。评测效果优于 Alpaca,达到 ChatGPT 50% 的性能。

你可能感兴趣的:(chatgpt,人工智能,机器学习)