LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】

斯坦福的 Alpaca 模型基于 LLaMA-7B 和指令微调，仅使用约 5 万条训练数据，就能达到类似 GPT-3.5 的效果。

斯坦福70亿参数开源模型媲美GPT-3.5，100美元即可复现​

Alpaca 的训练流程很简单，只有两个步骤：

1. 将 175 个人工设计的指令任务作为种子，使用 text-davinci-003 随机生成指令，最终生成了 52,000 条指令数据。例如：

    {
        "instruction": "Rewrite the following sentence in the third person",
        "input": "I am anxious",
        "output": "She is anxious."
    }, {
        "instruction": "What are the three primary colors?",
        "input": "",
        "output": "The three primary colors are red, blue, and yellow."
    },

2. 用指令数据基于 Hugging Face 的训练框架微调 LLaMA 模型。