数研院发布国内首个多模态决策大模型DB1，决策推理优化速度大幅提升

近日，上海数字大脑研究院（以下简称“数研院”）推出首个数字大脑多模态决策大模型（简称DB1），填补了国内在此方面的空白，进一步验证了预训练模型在文本、图-文、强化学习决策、运筹优化决策方面应用的潜力。目前，DB1代码我们已开源在Github，项目链接：https://github.com/Shanghai-Digital-Brain-Laboratory/BDM-DB1。

此前，数研院提出MADT（https://arxiv.org/abs/2112.02845）/MAT（https://arxiv.org/abs/2205.14953）等多智能体模型，在一些离线大模型通过序列建模，使用Transformer模型在一些单/多智能体任务上取得了显著效果，并持续在该方向上进行研究探索。

过去几年，随着预训练大模型的兴起，学术界与产业界在预训练模型的参数量与多模态任务上不断取得新的进展，大规模预训练模型通过对海量数据和知识的深度建模，被认为是通往通用人工智能的重要路径之一。专注决策智能研究的数研院创新性地尝试将预训练模型的成功复制到决策任务上，并且取得了突破。

▌多模态决策大模型DB1

此前，DeepMind推出Gato，将单智能体决策任务、多轮对话和图片-文本生成任务统一到一个基于Transformer的自回归问题上，并在604个不同任务上取得了良好表现，显示出通过序列预测能够解决一些简单的强化学习决策问题，这在侧面验证了数研院在决策大模型研究方向的正确性。

此次，数研院推出的DB1，主要对Gato进行了复现与验证，并从网络结构与参数量、任务类型与任务数量两方面尝试进行了改进：

• 参数量与网络结构：DB1 参数量达12.1亿。在参数量上尽量做到与Gato接近。整体来说，数研院使用了与Gato类似的结构（相同的Decoder Block数量、隐层大小等），但在FeedForwardNetwork中，由于GeGLU激活函数会额外引入1/3的参数量，数研院为了接近Gato的参数量，使用4 * n_embed维的隐层状态经过GeGLU激活函数后变成2 * n_embed维的特征。在其他方面，我们与Gato的实现一样在输入输出编码端共享了embedding参数。不同于Gato，在layer normalization的选择上我们采用了PostNorm的方案，同时我们在Attention上使用混合精度计算，提高了数值稳定性。

• 任务类型与任务数量：DB1的实验任务数量达870，较Gato提升了44.04%，较Gato在>=50%专家性能上提升2.23%。具体任务类型上，DB1大部分继承了Gato的决策、图像和文本类任务，各类任务数量基本维持一致。但在决策类任务方面，DB1另外引入了200余个现实场景任务，即100和200节点规模的旅行商问题（TSP，此类任务在所有中国主要城市随机选择100-200个地理位置作为结点表征）求解。

可以看到的是，DB1整体表现已经与Gato达到同一水平，并已经开始向更加贴近实际业务的需求领域体进化，很好地求解了NP-hard的TSP问题，而此前Gato并未在此方向探索。

  DB1 (右)与GATO （左）指标对比

  DB1在强化学习模拟环境上的多任务性能分布

相较于传统的决策算法，DB1在跨任务决策能力和快速迁移能力上都有不错的表现。从跨任务决策能力和参数量来说，实现了从单一复杂任务的千万-亿级别参数量到多个复杂任务的十亿级别参数的跨越，并持续增长，并且具备解决复杂商业环境中的实际问题的充分能力。从迁移能力来说，DB1完成了从智能预测到智能决策、从单智能体到多智能体的跨越，弥补传统方法在跨任务迁移方面的不足，使得在企业内部建立大模型成为可能。

不可否认的是，DB1在开发过程也遇到了很多难点，数研院进行了大量尝试，可为业内在大规模模型训练及多任务训练数据存储方面提供一些标准解决路径。由于模型参数到达10亿参数规模且任务规模庞大，同时需要在超过100T（300B+ Tokens）的专家数据上进行训练，普通的深度强化学习训练框架已无法满足在该种情况下的快速训练。为此，一方面，针对分布式训练，数研院充分考虑强化学习、运筹优化和大模型训练的计算结构，在单机多卡和多机多卡的环境下，极致利用硬件资源，巧妙设计模块间的通讯机制，尽可能提升模型的训练效率，将870个任务的训练时间缩短到了一周。另一方面，针对分布式随机采样，训练过程所需数据索引、存储、加载以及预处理也成为相应瓶颈，数研院在加载数据集时采用了延迟加载模式，以解决内存限制问题并尽可能充分利用可用内存。此外，在对加载数据进行预处理后，会将处理过的数据缓存至硬盘中，便于此后可直接加载预处理完成的数据，缩减重复预处理带来的时间和资源成本。

目前，国际国内头部企业与研究机构如OpenAI、Google、Meta、华为、百度和达摩院等都已经进行了多模态大模型相关的研究并且有了一定商业化尝试，包括在自身产品中应用或者提供模型API和相关行业解决方案。相比之下，数研院更关注决策问题，同时支持游戏AI决策任务、运筹优化TSP求解任务、机器人决策控制任务、黑盒优化求解任务与多轮对话任务上进行应用尝试。

▌任务表现

运筹优化：TSP问题求解

 以中国部分城市为节点的TSP问题

强化学习任务视频演示

DB1 模型在完成870个不同决策任务的离线学习后，其评估结果显示有76.67%的任务达到或超过50%的专家水平。以下是一些任务的效果展示：

• 电子游戏场景：DB1 可以接收2D/3D图像输入，并且很好地完成类如Atari，Procgen在内的2D像素游戏，同时对于DMLab这种与真实世界较为相似的3D图像输入任务，DB1也表现出了良好的性能。

Atari Breakout

DMLab  Explore Object Locations

Procgen DogBall

• 连续控制场景：在机器人领域的连续控制任务上，DB1也能够建模连续动作的策略输出，并且良好地完成仿真任务上。

Metaworld PlateSlide

ModularRL Cheetah

  文本-图像任务

• 文本生成：给出一段文字提示，生成长文本描述

  输入提示：digital brain laboratory is a shanghai based

  生成结果：digital brain laboratory is a shanghai based company and we are looking for a highly skilled and experienced person to join our team in shanghai, china. we are a digital brain lab and we are looking for a highly skilled and experienced person to join our team in shanghai, china. this is an opportunity to work for a well known and growing company that is going through a fast growth phase and to have an impact in the market. This is a full-time, permanent position. We are looking for a highly skilled, motivated and experienced software engineer who can lead a team of 5-10 in a highly competitive environment

• 图像描述生成：给定一张图片生成对应文本描述

▌当前决策大模型的局限性与未来方向

虽然当前多模态决策预训练模型DB1取得了一定效果，但仍存在一定局限性，诸如：跨域任务采样权重敏感、跨域知识迁移困难、长序列建模困难、专家数据强依赖等。虽然存在众多挑战，但现阶段看来，多模态决策大模型是实现决策智能体从游戏走向更广泛场景，从虚拟走向现实，在现实开放动态环境中进行自主感觉与决策，最终实现更加通用人工智能的关键探索方向之一。未来，数研院将持续迭代数字大脑决策大模型，通过更大参数量，更有效的序列表征，接入和支持更多任务，结合离线/线训练与微调，实现跨域、跨模态、跨任务的知识泛化与迁移，最终在现实应用场景下提供更通用、更高效、更低成本的决策智能决策解决方案。

Digital Brain Laboratory

上海数字大脑研究院汇聚决策智能领域全球领先的科研力量，面向中国及全球产业智能化升级需求，致力于为全球企业提供决策智能解决方案，驱动各产业全面智能化升级。