大模型未来发展趋势

1、大模型已经展示了原始的潜力，但我们仍然处于早期阶段。尽管它们被部署到真实的世界中，但这些模型在很大程度上是人们所知甚少的研究原型。即使是围绕大模型的专业规范--罗伯特·默顿（Robert Merton，1979）称之为科学的精神气质（ethos of science）--也没有得到充分发展。例如，在一些基本问题上缺乏一致意见，如模型何时可以“安全”发布，或社区应如何应对方法不当行为。鉴于大模型的未来因此充满了不确定性，一个大问题是：谁将决定这个未来？

2、纪律多样性。大模型背后的技术是基于机器学习、优化、NLP、计算机视觉和其他领域数十年的研究。这些技术贡献来自学术界和工业研究实验室。然而，关于构建基础模型本身的研究几乎完全发生在行业中-大型科技公司，如谷歌，Facebook，微软或华为，或初创公司，如OpenAI或AI 21 Labs，尽管AI 是一个值得注意的例外[Peters et al. 2018; Zellers et al. 2019 b]。技术进步的迅猛步伐和集中化带来的根深蒂固的问题引起了强烈的关注，除了技术专家之外，人文主义者和社会科学家也需要关注。我们不应依赖于道德和社会后果的事后审视，这种审视只在技术架构和部署决定做出之后才进行。相反，我们需要从一开始就将社会考虑和伦理设计深深地注入基础模型及其周围生态系统的技术发展中。学术机构的独特之处在于，它们在一个屋檐下拥有最广泛的学科，因此汇集了计算机科学家，社会科学家，经济学家，伦理学家，法律的学者等。Steel et al. 2018]，因此，我们认为学术界在开发基础模型方面发挥着至关重要的作用，以促进其社会效益并减轻其社会危害，以及确定生态系统的每个阶段中的行动（从数据策展到部署）应严格禁止的环境。

3、激励设计、开发和部署大模型的政治经济学为每个阶段的决策提供了不可避免的激励结构。人们和机构如何对激励做出反应是经济学的一个基本课程。市场驱动的商业激励措施可以与社会效益很好地结合起来：使基础模型更加准确，可靠，安全和高效，同时搜索各种潜在的用例可以产生大量的社会效用。然而，商业激励措施也可能导致市场失灵和在股东无法获得创新价值的领域投资不足。正如制药行业没有动力投入大量资源用于疟疾治疗的研究和开发，因为穷人买不起药物，科技行业也没有动力投入大量资源用于改善穷人和边缘化人群状况的技术[赖希et al. 2021]。更重要的是，商业激励可能导致公司忽视社会外部性[Acemoglu 2021;赖希et al. 2021]，例如劳动力的技术替代、民主所需的信息生态系统的健康、计算资源的环境成本以及利润驱动的技术销售给非民主政权。最后，任何一家公司都没有动力去创建一个开放的、去中心化的生态系统，以开发鼓励广泛参与的大模型模式。

4、与此相反，长期以来，对知识的生产和传播以及全球公共产品的创造是知识研究的深层使命[Kerr 2001; Nussbaum 2010]。我们相信，学术界在塑造大模型模式的发展方面具有独特的地位，以确保我们能够捕捉到具有潜在巨大社会效益的方向，而这些方向可能不会被行业优先考虑。

5、由于缺乏可访问性，学术界未能以尽可能全面的方式参与其中。深度学习革命的一个常常被忽视的影响是增加了可复制性和开放科学：公开发布代码和数据集变得越来越普遍，而诸如TensorFlow [Abadi et al. 2016] 和 PyTorch [Paszke et al. 2019] 等包使得人们更容易进行协作并建立在彼此工作的基础上。像ML Reproducibility Challenge这样的倡议以及由主要会议采用的可重复性检查表[Pineau et al. 2020]，以及像CodaLab Worksheets这样的平台有助于推动社区对可重复性的标准。这导致了技术创新和进步的激增。

6、大模型模式开始逆转这一积极趋势。一些模型（例如，GPT-3）根本没有发布（只有API访问有限的人群）。甚至数据集（例如，对于GPT-2）未被释放。虽然经训练的模型可以是可用的（例如，BERT），基础模型的实际训练对绝大多数人工智能研究人员来说是不可用的，因为计算成本要高得多，工程要求也很复杂。

 7、一些有意义的研究仍然可以通过在学术预算范围内训练较小的模型来完成，事实上，缩放定律[Kaplan et al. 2020]预测的令人惊讶的规律性使其成为一种可行的策略，适用于规模差异是定量的情况（例如，准确度提高）。然而，由于这些基础模型的紧急性质，一些功能（如上下文学习）仅在足够大的模型中得到证明，因此甚至需要规模来提出正确的问题。

8、也可以有效地研究已经发布的预先存在的模型;事实上，这已经在NLP中产生了一个大型的子社区来探索这些模型[Rogers et al. 2020; Manning et al. 2020]。访问现有模型对于为下游应用程序提供动力或识别缺陷（例如，偏差），但是这可能不足以让我们为能够修复这些缺陷的基础模型设计更好的架构或训练目标（例如，减轻偏差）。值得反思的是，今天有多少NLP研究是基于BERT的，BERT是一个特定的）基础模型。鉴于需要将社会意识和道德设计注入到这些模型的构建中，我们可能需要构建与今天存在的完全不同的基础模型。这将需要大规模的密集实验。

9、EleutherAI和Hugging Face的BigScience项目等社区努力正在尝试训练大型基础模型，但行业可以训练的私人模型与向社区开放的模型之间的差距可能仍然很大，如果不是增长的话。此外，今天的初创公司（OpenAI，Anthropic，AI 21 Labs等）比学术界资源丰富得多，因此仍然能够负担得起训练最大的基础模型（例如，OpenAI的GPT-3）。然而，大型科技公司在资源方面处于完全不同的水平，特别是在基础设施、用户和来自其市场地位的数据方面。基础模型的基本集中性质意味着开发它们的进入壁垒将继续上升，因此即使是初创公司，尽管他们很灵活，也会发现很难竞争，这一趋势反映在搜索引擎的发展中[Radinsky 2015]。

10、缩小资源差距的一个方法是政府投资公共基础设施。我们可以把哈勃太空望远镜和大型强子对撞机等大科学项目作为灵感来源，在这些项目中，大量的投资使原本不可能的基础科学发现成为可能。人们可以想象一个类似的计算基础设施，基础模型的学术研究将从中受益匪浅。在美国，新生的国家研究云计划是朝着这个方向迈出的一步。