九、开源小语言模型之chatLLaMA

      这段时间我们能看到科技圈在集体“追风口”，大量资源（注意力、算力、人才、政策等）都被投入到OpenAI引领的大语言模型热潮中，有些高校甚至出现了“不做LLM就没有算力用”的局面，追逐OpenAI的赛道已经十分拥挤。在我们都将注意力放到企业 AI 大战时，谷歌内部人员反而指出，最后的赢家不是谷歌和 OpenAI，反而是开源模型。

 1、源起
    3 月初，随着 Meta 的 LLaMA 模型被泄露，开源社区获得了首个真正具备一线“战斗力”的基础模型。随之而来的就是铺天盖地的创新涌现，而且每隔几天就会出现一波重大发展。仅仅一个月后，我们就走到了如今的局面，有了指令微调、量化、质量改进、人工评估、多模态、RLHF 等变体，其中很多还互为依托。最重要的是，开源社区解决了真正的可扩展性问题，让普通人也有了在 AI 平台上一试身手的机会。训练和实验的门槛已经从研究机构的高精尖操作，下降成了一个人、一个晚上加一台高配笔记本电脑就能搞定的小探索。
    
    开放的效果也显而易见：与 OpenAI 的同类解决方案相比，开源模型的文化影响力迅速占据主导，后者则逐渐退出舞台的中心。事实上，从工程师的单人工时出发，这些小模型的改进速度大大超过了体量庞大的“同门兄长”，而且其中最出色的选手在相当程度上已经跟 ChatGPT 站在同一水平线上。虽然 OpenAI的模型在质量方面仍略有优势，但双方差距正在以惊人的速度缩小。开源模型更快、可定制性更强、更私密，而且功能性也不落下风。小模