LLM 进展和前进道路

近年来，语言模型取得了重大进展。这一进步是对数十亿个参数进行广泛训练和调整的结果，也是商业用途基准测试的结果。这项工作的起源可以追溯到 1950 年代，当时自然语言理解和处理的研究开始了。

本文旨在概述过去 70 年语言模型的历史和演变。它还将检查当前可用的大型语言模型 （LLM），包括其架构、调优参数、企业就绪情况、系统配置等，以深入了解其训练和推理过程。这种探索将使我们能够了解该领域的进展，并评估可用于商业用途的选择。

最后，我们将深入研究部署这些模型对环境的影响，包括其功耗和碳足迹，并了解组织为减轻这些影响而采取的措施。

过去 70 多年 NLU / NLP 发展的简史

大约 1950 年代，Claude Shannon 发明了信息论领域。这项工作的重点是需要传输的消息的编码问题。它引入了语言中的熵和冗余等概念，这成为 NLP 和计算语言学的基本贡献和基石。

1957 年，诺姆·乔姆斯基 &#