大模型值得探索的十个研究方向

随着大模型的规模增大，能力增强，极大的冲击了人工智能领域的研究方向，特别是对于自然语言处理研 究者来说，有很多老的问题解决了、消失了，有研究者在大模型时代没法找到自己的研究方向，感到焦虑和迷 茫，不过，在我看来，在像大模型这样的技术变革出现时，我们认识世界、改造世界的工具也变强了，会有更多 全新的问题和场景出现，等待我们探索。所以，不论是自然语言处理还是其他相关人工智能领域的研究者，都 应该庆幸技术革命正发生在自己的领域，发生在自己的身边，自己无比接近这个变革的中心，比其他人都更做 好了准备迎接这个新的时代，也更有机会做出基础的创新。希望大家能够积极拥抱这个新的变化，迅速站上大 模型巨人的肩膀，弄潮儿向涛头立，积极探索甚至开辟属于各自的方向、方法和应用。

大型语言模型的进化树

1. 大模型的基础理论问题

   随着全球大炼模型不断积累的丰富经验数据，人们发现大模型呈现出很多与以往统计学习模型、深度学习模 型、甚至预训练小模型不同的特性，耳熟能详的如 Few/Zero-Shot Learning、In-Context Learning、Chain-of-Thought 能力，已被学术界关注但还未被公众广泛关注的如 Emergence、Scaling Prediction、Parameter-Efficient Learning（我们称为 Delta Tuning）、稀疏激活和功能分区特性，等等。我们需要为大模型建立坚实的理论基础，才能行稳致远。

对于大模型，我们有很多的问号，例如：

• What——大模型学到了什么？大模型知道什么还不知道什么，有哪些能力是大模型才能习得而小模型无法学到的? 2022 年Google 发表文章探讨大模型的涌现现象，点明很多能力是模型规模增大以后神奇出现的。那么大模型里究竟还藏着什么样的惊喜，这个问题尚待我们挖掘。

• How——如何训好大模型？随着模型规模不断增大（Scaling）的过程，如何掌握训练大模型的规律，其中包含众多问题，例如数据如何准备和组合，如何寻找最优训练配置，如何预知下游任务的性能，等等。这 些是 How 的问题。

• Why——大模型为什么好？这方面已经有很多非常重要的研究理论 ，包括过参数化等理论，但终极理论框架的面纱仍然没有被揭开。面向 What、How 和 Why 等方面的问题，大模型有非常多值得探索的理论问题，等待大家的探索。我记得几年前黄铁军老师举过一个例子，说是先发明了飞机，才产生的空气动力学。我想 这种从实践到理论的升华是历史的必然，也必将在大模型领域发生。这必将成为人工智能整个学科的基础，因 此列为十大问题的首个问题。

2. 大模型的网络架构问题

目前大模型主流网络架构 Transformer 是 2017 年提出的。随着模型规模增长，我们也看到性能提升出现边际递减的情况，Transformer 是不是终极框架？能否找到比Transformer 更好、更高效的网络框架？这是值得探索的基础问题。实际上，深度学习的人工神经网络的建立受到了神经科学等学科的启发，面向下一代人工智能网络架构，我 们也可以从相关学科获得支持和启发。例如，有学者受到数学相关方向的启发，提出非欧空间 Manifold 网络框架，尝试将某些几何先验知识放入模型，这些都是最近比较新颖的研究方向。也有学者尝试从工程和物理学获得启示，例如 State Space Model，动态系统等。神经科学也是探索新型网络架构的重要思想来源，类脑计算方向一直尝试 Spiking Neural Network 等架构。到目前为止，下一代基础模型网络框架是什么，还没有显著的结论，仍是一个亟待探索的问题。

3. 大模型的高效计算问题

现在大模型动辄包含十亿、百亿甚至千亿参数。随着大模型规模越变越大，对计算和存储成本的消耗也越 来越大。之前有学者提出 GreenAI 的理念，将计算能耗作为综合设计和训练人工智能模型的重要考虑因素。针对这个问题，我们认为需要建立大模型的高效计算体系。

• 首先，我们需要建设更加高效的分布式训练算法体系，这方面很多高性能计算学者已经做了大量探索，例 如，通过模型并行、流水线并行、ZeRO-3 等模型并行策略将大模型参数分散到多张GPU 中，通过张量卸载、优化器卸载等技术将 GPU 的负担分摊到更廉价的 CPU 和内存上，通过重计算方法降低计算图的显存开销，通过混合精度训练利用Tensor Core 提速模型训练，基于自动调优算法选择分布式算子策略等。目前，模型加速领域已经建立了很多有影响力的开源工具，国际上比较有名的有微软 DeepSpeed、英伟达 Megatron-LM，国内比较有名的是 OneFlow、ColossalAI 等。

• 其次，如何在大量的优化策略中根据硬件资源条件自动选择最合适的优化策略组合，是值得进一步探索的 问题。此外，现有的工作通常针对通用的深度神经网络设计优化策略，如何结合Transformer 大模型的特性做针对性的优化有待进一步研究。然后，大模型一旦训练好准备投入使用，推理效率也成为重要问题，一种思路是将训练好的模型在尽可能不损失性能的情况下对模型进行压缩。这方面技术包括模型剪枝、知识蒸馏、参数量化等等。大模型呈现的稀疏激活现象也能够用来提高模型推理效率，基本思想是根据稀疏激活模式对神经元进行聚类分组，每次输入只调用非常少量的神经元模块即可完成计算，这个算法称为MoEfication。MoEfication 中的基于稀疏激活现象，可以在不改变原模型参数情况下，将前馈网络转换为混合专家网络，通过动态选择专家以提升模型效率。实验发现仅使用 10% 的前馈网络计算量，即可达到原模型约 97% 的效果。相比于传统剪枝方法关注的参数稀疏现象， 神经元稀疏激活现象尚未被广泛研究，相关机理和算法亟待探索。

• 最后，在模型压缩方面，可以通过融合多种压缩技术极致提高压缩比例，目前已实现四种主流压缩方法，不 同压缩方法之间可根据需求任意组合，简单的组合可在 10 倍压缩比例下保持原模型约 98% 的性能，未来，如何根据大模型特性自动实现压缩方法的组合，是值得进一步探索的问题。

4. 大模型的高效适配问题

大模型一旦训好之后，如何适配到下游任务呢？模型适配就是研究面向下游任务如何用好模型，对应现在 比较流行的术语是“对齐”（Alignment）。传统上，模型适配更关注某些具体的场景或者任务的表现。而随着ChatGPT 的推出，模型适配也开始关注通用能力的提升以及与人的价值观的对齐。我们知道，基础模型越大在已知任务上效果越好，同时也展现出支持复杂任务的潜力。而相应地，更大的基础模型适配到下游任务的计算 和存储开销也会显著增大。这点极大提高了基础模型的应用门槛，从今年发表的论文来看，尽管预训练语言模型已经成为基础设施，但 是真正去使用大模型的论文占比还非常低。非常重要的原因就在于，即使全世界已经开源了非常多的大模型，但 是对于很多研究机构来讲，他们还是没有足够计算资源将大模型适配到下游任务。这里，至少可以探索两种提 高模型适配效率的方案：

• 方案一是提示学习（Prompt Learning），即从训练和下游任务的形式上入手，通过为输入添加提示（Prompts）来将各类下游任务转化为预训练中的语言模型任务，实现对不同下游任务以及预训练-下游任务之间形式 的统一，从而提升模型适配的效率。实际上，现在流行的指令微调（Instruction Tuning）就是使用提示学习思想的具体案例，以后，prompt learning 将会成为大模型时代的 feature engineering。而现在已经涌现出很多提示工程（Prompt Engineering）的教程，可见提示学习已成为大模型适配的标配。

• 方案二是参数高效微调（Parameter-effcient Tuning 或Delta Tuning），基本思想是保持绝大部分的参数不变，只调整大模型里非常小的一组参数，这能够极大节约大模型适配的存储和计算成本，而且当基础模型规模较大（如十亿或百亿以上）时参数高效微调能够达到与全参数微调相当的效果。目前，参数高效微调还没有获得像提示微调那样广泛的关注，而实际上参数高效微调更反映大模型独有特性。为了探索参数高效微调的特性，有学者曾对参数高效微调进行过系统的研究和分析，给出了一个统一范式的建模框架：在理论方面，从优化和最优控制两个角度进行了理论分析；在实验方面，从综合性能、收敛效率、迁移性和模型影响、计算效率等多个角度出发，在 100 余个下游任务上进行了实验分析，得出很多参数高效驱动大模型的创新结论，例如参数高效微调方法呈现明显的 Power of Scale 现象，当基础模型规模增长到一定程度，不同参数高效微调方法的性能差距缩小，且性能与全参数微调基本相当。

5. 大模型的可控生成问题

自然语言处理将实现从对已有数据的消费（自然语言理解）到全新数据的生产（自然语言生成）的跃迁，这 将是一次巨大变革。这波大模型技术变革极大地推动了 AIGC 的性能，成为研究与应用的热点。而如何精确地将生成的条件或约束加入到生成过程中，是大模型的重要探索方向。在 ChatGPT 出现前，已经有很多可控生成的探索方案，例如利用提示学习中的提示词来控制生成过程。可控生成方面也长期存在一些开放性问题，例如 如何建立统一的可控生成框架，如何建立科学客观的评测方法等等。ChatGPT 在可控生成方面取得了长足进步，现在可控生成有了相对成熟的做法：

通过指令微调（Instruction Tuning）提升大模型意图理解能力，使其可以准确理解人类输入并进行反馈；通过提示工程编写合适的提示来激发模型输出。这种采用纯自然语言控制生成的做法取得了非常好的效  果，对于一些复杂任务，我们还可以通过思维链（Chain-of-thought）等技术来控制模型的生成。该技术方案的核心目标是让模型建立指令跟随（Instruction following）能力。获得这项能力并不需要特别复杂的技术，只要收集足够多样化的指令数据进行微调即可获得不错的模型。这也是为什么最近涌现如此众多的 定制开源模型。当然，如果要想达到更高的质量，可能还需要进行 RLHF 等操作。

6. 大模型的安全伦理问题

随着以ChatGPT 为代表的大模型日益深入人类日常生活，大模型自身的安全伦理问题日益凸显。OpenAI 为了使ChatGPT 更好地服务人类，在这方面投入了大量精力。大量实验表明大模型对传统的对抗攻击、OOD 样本攻击等展现出不错的鲁棒性，但在实际应用中还是会容易出现大模型被攻击的情况。

• 首先，随着 ChatGPT 的广泛应用，人们发现了很多新的攻击方式。例如最近出圈的 ChatGPT 越狱（jail- break）（或称为提示注入攻击），利用大模型跟随用户指令的特性，诱导模型给出错误甚至有危险的回复。我们需要认识到，随着大模型能力越来越强大，大模型的任何安全隐患或漏洞都有可能造成比之前更严重的后果。如 何预防和改正这些漏洞是 ChatGPT 出圈后的热点话题。

• 另外，大模型生成内容和相关应用也存在多种多样的伦理问题。例如，有人利用大模型生成假新闻怎么办？如何避免大模型产生偏见和歧视内容？学生用大模型来做作业怎么办？这些都是在现实世界中实际发生的问题， 尚无让人满意的解决方案，都是很好的研究课题。具体而言，在大模型安全方面，我们发现，虽然大模型面向对抗攻击具有较好的鲁棒性，但特别容易被有意 识地植入后门（backdoors），从而让大模型专门在某些特定场景下做出特定响应，这是大模型非常重要的安全性问题。

• 除此之外，越来越多的大模型提供方开始仅提供模型的推理 API，这在一定程度上保护了模型的安全和知识产权。然而，这种范式也让模型的下游适配变得更加困难。为了解决这个问题，清华大学提出了一种在输出端对黑盒大模型进行下游适配的方法 Decoder Tuning，在理解任务上相比已有方法有 200 倍的加速和 SOTA 的效果。

在大模型伦理方面，如何实现大模型与人类价值观的对齐是重要的命题。此前研究表明模型越大会变得越 有偏见，ChatGPT 后兴起的RLHF、RLAIF 等对齐算法可以很好地缓解这一问题，让大模型更符合人类偏好，生成质量更高。相比于预训练、指令微调等技术，基于反馈的对齐是很新颖的研究方向，其中强化学习也是有名的难以调教，有很多值得探讨的问题。

7. 大模型的认知学习问题

ChatGPT 意味着大模型已经基本掌握人类语言，通过指令微调心领神会用户意图并完成任务。那么面向未来，我们可以考虑还有哪些人类独有的认知能力，是现在大模型所还不具备的呢？在我看来，人类高级认知能 力体现在复杂任务的解决能力，有能力将从未遇到过的复杂任务拆解为已知解决方案的简单任务，然后基于简 单任务的推理最终完成任务。而且在这个过程中，并不谋求将所有信息都记在人脑中，而是善于利用各种外部 工具，“君子性非异也，善假于物也”。

这将是大模型未来值得探索的重要方向。现在大模型虽然在很多方面取得了显著突破，但是生成幻觉问题依然严重，在专业领域任务上面临不可信、不专业的挑战。这些任务往往需要专业化工具或领域知识支持才能 解决。因此，大模型需要具备学习使用各种专业工具的能力，这样才能更好地完成各项复杂任务。

工具学习有望解决模型时效性不足的问题，增强专业知识，提高可解释性。而大模型在理解复杂数据和场景方面，已经初步具备类人的推理规划能力，大模型工具学习（Tool Learning）范式应运而生。该范式核心在于将专业工具与大模型优势相融合，实现更高的准确性、效率和自主性。最近，ChatGPT Plugins 的出现使其支持使用联网和数学计算等工具，被称为 OpenAI 的“App Store”时刻。工具学习必将成为大模型的重要探索方向， 将各种工具（如文生图模型、搜索引擎、股票查询等）的调用流程都统一在了同一个框架下，实现了工具调用流程的标准化和自动化。

此外，现有大部分努力都集中在单个预训练模型的能力提升上，而在单个大模型已经比较能打的基础上，未 来将开启从单体智能到多体智能的飞跃，实现多模型间的交互、协同或竞争。例如，最近斯坦福大学构建了一 个虚拟小镇，小镇中的人物由大模型扮演，在大模型的加持下，不同角色在虚拟沙盒环境中可以很好地互动或 协作，展现出了一定程度的社会属性。多模型的交互、协同与竞争将是未来极具潜力的研究方向。未来，我们甚 至可能雇佣一个“大模型助理团队”来协同调用工具，共同解决复杂问题。

8. 大模型的创新应用问题

大模型在众多领域的有着巨大的应用潜力。近年来《Nature》封面文章已经出现了五花八门的各种应用，大 模型也开始在这当中扮演至关重要的角色。这方面一个耳熟能详的工作就是AlphaFold，对整个蛋白质结构预测 产生了天翻地覆的影响。未来在这个方向上，关键问题就是如何将领域知识加入AI 擅长的大规模数据建模以及大模型生成过程中，这是利用大模型进行创新应用的重要命题。

9. 大模型的数据和评估问题

纵观深度学习和大模型的发展历程，持续验证了“更多数据带来更多智能”（More Data, More Intelligence） 原则的普适性。从多种模态数据中学习更加开放和复杂的知识，将会是未来拓展大模型能力边界及提升智能水平的重要途径。近期 OpenAI 的GPT-4 在语言模型的基础上拓展了对视觉信号的深度理解，谷歌的 PaLM-E 则进一步融入了机器人控制的具身信号。概览近期的前沿动态，一个正在成为主流的技术路线是以语言大模型为基底，融入其他模态信号，从而将语言大模型中的知识和能力吸纳到多模态计算中，通过在不同语言大模型基底间迁移视觉模块，极大降低预训练多模态大模型的开销。面向未来，从更多模态更大规模数据中学习知识，是大模型技术发展的必由之路。

一方面，大模型建得越来越大，结构种类、数据源种类、训练目标种类也越来越多，这些模型的性能提升到 底有多少？在哪些方面我们仍需努力？有关大模型性能评价的问题，我们需要一个科学的标准去判断大模型的 长处和不足。这在ChatGPT 出现前就已经是重要的命题，像GLUE、SuperGLUE 等评价集合都深远地影响了预

训练模型的发展；推出的 CUGE 中文理解与生成评价集合，通过逐层汇集模型在不同指标、数据集、任务和能力上的得分系统地评估模型在不同方面的表现。这种基于自动匹配答案评测的方式是大模型和生成式 AI 兴起前自然语言处理领域主要的评测方式，优点在于评价标准固定、评测速度快。而对于生成式 AI，模型倾向于生成发散性强、长度较长的内容，使用自动化评测指标很难对生成内容的多样性、创造力进行评估，于是带来了新 的挑战与研究机会，最近出现的大模型评价方式可以大致分为以下几类：

• 自动评价法很多研究者提出了新的自动化评估方式，譬如通过选择题的形式，收集人类从小学到大学的考试题以及金融、法律等专业考试题目，让大模型直接阅读选项给出回答从而能够自动评测，这种方式比较适 合评测大模型在知识储备、逻辑推理、语义理解等维度的能力。

• 模型评价法也有研究者提出使用更加强大的大模型来做裁判 [6]。譬如直接给 GPT4 等模型原始问题和两个模型的回答，通过编写提示词让 GPT4 扮演打分裁判，给两个模型的回答进行打分。这种方式会存在一些问题， 譬如效果受限于裁判模型的能力，裁判模型会偏向于给某个位置的模型打高分等，但优势在于能够自动执行，不需要评测人员，对于模型能力的评判可以提供一定程度的参考。

• 人工评价法人工评测是目前来看更加可信的方法，然而因为生成内容的多样性，如何设计合理的评价体系、对齐不同知识水平的标注人员的认知也成为了新的问题。目前国内外研究机构都推出了大模型能力的“竞技场”，要求用户对于相同问题不同模型的回答给出盲评。这里面也有很多有意思的问题，譬如在评测过程中，是否可以设计自动化的指标给标注人员提供辅助？一个问题的回答是否可以从不同的维度给出打分？如何从网络众测员中选出相对比较靠谱的答案？这些问题都值得实践与探索。

10. 大模型的易用性问题

大模型已呈现出强烈的通用性趋势，具体体现为日益统一的Transformer 网络架构，以及各领域日益统一的基础模型，这为建立标准化的大模型系统（Big Model Systems)，将人工智能能力低门槛地部署到各行各业带来可能性。受到计算机发展史上成功实现标准化的数据库系统和大数据分析系统的启发，我们应当将复杂的高效 算法封装在系统层，而为系统用户提供易懂而强大的接口。

ps: 参考清华刘知远老师《大模型值得探索的十个研究方向》

欢迎关注微信公众号^-^.