人工智能时代大模型算法之文心大模型4.0

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  今天给大家带来的是国产精品：人工智能时代大模型算法之文心大模型4.0，希望能对学习大语言模型的同学们有所帮助。

1. 百度世界大会

  “大模型带来的智能涌现，这是我们开发AI原生应用的基础。”10月17日，李彦宏在百度世界2023上表示。当天，李彦宏以《手把手教你做AI原生应用》为主题发表演讲，发布文心大模型4.0版本，并带来新搜索、新地图等十余款AI原生应用。

  大会举办了一场重磅主论坛和7场AI科技分论坛，涉及AI原生应用、大模型产业应用等多个主题。除李彦宏外，百度首席技术官王海峰，百度集团执行副总裁、百度智能云事业群总裁沈抖，百度集团资深副总裁、百度移动生态事业群组总经理何俊杰，百度集团副总裁、小度科技CEO李莹等高管现身分享。

  现场，李彦宏宣布文心大模型4.0正式发布，开启邀请测试。他表示，这是迄今为止最强大的文心大模型，实现了基础模型的全面升级，在理解、生成、逻辑和记忆能力上都有着显著提升，综合能力“与GPT-4相比毫不逊色”。

  李彦宏介绍，文心4.0也同步开始邀测，现场观众扫描嘉宾证二维码，登录文心一言官网或下载最新版文心一言APP就可以体验；此外，企业客户可以通过登陆百度智能云官网，在千帆大模型平台上申请测试文心4.0 API。

  本届百度世界大会是近4年来首次回归线下举办。当天，上千位企业家、创业者、高校专家、投资人、开发者等，齐聚北京首钢园，与百度共同见证AI原生时代的到来。

2. 最强文心大模型4.0发布 综合能力比GPT-4毫不逊色

  在李彦宏看来，AI原生应用的诞生，得益于大模型的理解、生成、逻辑和记忆四大核心能力，百度的AI原生应用也是基于文心一言来开发的，“这些能力是过去的时代所不具备的，因而才能打开无限的创新空间”。

  同时，他还通过解数学题、总结知识点等场景，展示了大模型的逻辑能力；通过数千字的小说撰写和角色、情节设置，体现了大模型的记忆能力；以及数字人医生帮助患者解读药品说明书，来展现四大能力的综合应用。

  “前面的演示，体现出文心大模型在理解、生成、逻辑、记忆这四大能力上的进步，这些能力是一切AI原生应用赖以生存的基础。”李彦宏表示。

3. 十余款AI原生应用以全新面目亮相

  丰富的AI原生应用才是大模型的价值所在。大会上，李彦宏宣布百度AI原生应用以全新面目亮相。据他介绍，百度新搜索具有极致满足、推荐激发和多轮交互三个特点。以极致满足为例，当用户搜索问题时，新搜索通过对内容的理解，生成文字、图片、动态图表的多模态答案，让用户一步获取答案。

  同时，李彦宏还展示了用AI原生思维打造的国内第一个生成式商业智能产品：百度GBI。它可以通过自然语言交互，执行数据查询与分析任务，还支持专业知识注入，满足更复杂、专业的分析需求。

  通过对海量文档、图片和视频的理解和再生成，百度网盘和文库拥有了创作能力；百度地图和智能办公平台如流，也通过理解、记忆等能力，变成更贴心的出行助手和超级助理。

  李彦宏强调，插件是一种特殊的AI原生应用，门槛最低，也最容易上手，能让开发者、创业者快速加入到生态中。

  据介绍，个人及企业的数据、能力或应用，都能快速变成AI插件，增强大模型的能力，让大模型更实用易用。李彦宏表示，一个月前，百度上线了灵境插件平台，目前已经有2.7万开发者申请入驻，覆盖法律、职场、学习等多个领域。

  在开发AI原生应用时，大模型的基础能力至关重要。李彦宏介绍说，API是AI原生应用调用基础大模型的主要方式，企业和开发者可以在百度的千帆大模型平台上调取包括文心一言在内的大模型API，目前，千帆大模型平台已经成为中国最大的大模型开发平台，有42个主流大模型入驻，覆盖各行各业近500个场景。即日起，企业客户也可以登录百度智能云官网 ，在千帆大模型平台上申请测试文心4.0的API。

  “大量AI原生应用将不断涌现，数字技术与实体经济将深度融合……大模型正成为新型工业化的重要推动力。”李彦宏说。

4. 大模型深入产业、生态与生活

  相比3.5版本，文心大模型4.0的四大能力有显著提升。这么显著的效果提升是怎么达成的？

  百度世界2023现场，王海峰针对文心大模型4.0背后的关键技术和最新进展进行了解读。他透露，理解和生成能力的提升幅度相近，而逻辑和记忆能力的提升则更大，逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。文心大模型4.0在9月已开始小流量上线，过去一个多月效果又提升了近30%。8月31日文心一言面向全社会开放至今，用户规模已经达到4500万，开发者5.4万，场景4300个，应用825个，插件超过500个。

  沈抖在现场宣布全面升级“云智一体”战略，将其战略内涵全面升级为“云智一体，深入产业，生态繁荣，AI普惠”。此外，面向企业落地大模型的五类需求：高效稳定的AI算力、大模型API调用、大模型二次开发、敏捷开发AI原生应用、便捷选购优质AI原生应用，百度智能云基于千帆大模型平台打造的“大模型超级工厂”分别给出了最佳服务方案。

  百度移动生态链接着10亿级用户和数百万生态伙伴，是百度应用层重构的重要战场。现场，何俊杰表示，将基于百度的技术“黑土地”，以AI原生应用“造林”，并与用户、客户、伙伴一起共育大模型的“生态雨林”。他重点展示了新文库、文心一言APP、百度电商慧播星等AI原生应用；在内容生态层面，通过百度APP“AI编辑器”等一系列应用为创作者生态赋能；在商业生态层面，通过AI Native商业产品“轻舸”等，助力企业效益提升。此外，何俊杰还公布了AI插件生态——“灵境矩阵”的最新成果，并面向全平台开发者、创业者发出邀请，共建大模型生态。

  作为百度“AI生活”布局的重要板块，小度全面拥抱文心一言大模型。李莹介绍，小度即将发布多款AI原生“新物种”：小度添添家庭机器人、小度青禾学习一体机以及全新智能音箱系列Tiantian Casa。她表示，小度始终坚持在人机交互技术领域不断创新，做“AI+智能设备”创新的代名词。让更多人感受到AI技术为生活带来的改变和无限可能，引领智能生活新未来。

  在信息世界之外，百度认为未来的大模型将走向多模态，进一步重构物理世界。自动驾驶就是大模型重构物理世界的一个案例。百度集团资深副总裁、智能驾驶事业群组总裁李震宇介绍，大模型让全无人自动驾驶真正落地。目前，百度自动驾驶出行服务平台萝卜快跑累计提供服务超过400万次，是全球最大的自动驾驶出行服务商。

  “大量AI原生应用将不断涌现，数字技术与实体经济将深度融合……大模型正成为新型工业化的重要推动力。”李彦宏说。正如百度世界2023的主题是“生成未来”，在演讲结尾，李彦宏宣布，我们即将进入一个AI原生的时代，进入一个人机通过Prompt来交互的时代。

5. 文心大模型4.0

  据了解，百度在3月16日发布知识增强大语言模型文心一言。文心一言从数万亿数据和数千亿知识中融合学习，得到预训练大模型，在此基础上采用有监督精调、人类反馈强化学习、提示等技术，具备知识增强、检索增强和对话增强的技术优势。

  文心一言的基础模型5月升级至文心大模型3.5，在基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等方面创新突破，取得效果和效率的提升。

  今天发布的文心大模型4.0，相比3.5版本，理解、生成、逻辑、记忆四大能力都有显著提升。其中理解和生成能力的提升幅度相近，而逻辑和记忆能力的提升则更大，逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。百度基于文心大模型研制了智能代码助手Comate，从内部应用效果来看，整体的代码采纳率达到40%，高频用户的代码采纳率达到60%。

  据悉，文心大模型4.0在9月已开始小流量上线，过去一个多月效果又提升了近30%。训练算法效率自3月以来已累计提升3.6倍，周均的训练有效率超过98%。文心大模型4.0基本技术架构与3.0和3.5版本一脉相承，并在多个关键技术方向上进一步创新突破。

  在万卡算力上运行飞桨平台，通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持了大模型的稳定高效训练。建设了多维数据体系，形成了数据挖掘、分析、合成、标注、评估闭环，充分释放数据价值，大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优，有效节省了训练资源和时间，加快了模型迭代速度。

  此外，文心大模型4.0在输入和输出阶段都进行知识点增强。一方面，对用户输入的问题进行理解，并拆解出回答问题所需的知识点，然后在搜索引擎、知识图谱、数据库中查找准确知识，最后把这些找到的知识组装进Prompt送入大模型，准确率好，效率也高；另一方面，对大模型的输出进行反思，从生成结果中拆解出知识点，然后再利用搜索引擎、知识图谱、数据库，以及大模型本身进行确认，进而对有差错的点进行修正。

  在强大的基础大模型的基础上，百度进一步研制了智能体机制，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并一定程度上将思考过程白盒化，让机器像人一样思考和行动，自主完成复杂任务，在环境中持续学习实现自主进化。

6. 文心一言助力国图馆藏文化资源活化，升级国家跳水队AI辅助训练系统

  百度已经与中国国家图书馆展开战略合作，发挥各自的资源、技术和服务优势，共同推动文化资源和知识服务智能化，普惠大众。国家图书馆拥有全球最大的古代方志，利用文心大模型学习古代方志与家谱数据，帮助全球华人获取更多寻根线索。王海峰现场分享了海外华人赵佩娟延续祖父乡愁，成功“寻根”的故事。

  中国国家跳水队教练、奥运五金王陈若琳和奥运冠军全红婵、陈芋汐、王宗源也来到世界大会现场，与王海峰热切互动，解密梦之队训练“独门绝技”。基于文心一言等百度大模型技术，中国国家跳水队AI辅助训练系统全面升级，通过从海量数据和知识中学习，掌握了丰富的跳水知识，理解和执行教练员和运动员的复杂指令，及时提供准确信息，并对动作实时打分、精准量化分析，提供最有价值的指导信息，助力中国国家跳水队高效训练。

  现场，陈若琳受中国游泳协会主席周继红委托，授予百度为“中国国家跳水队人工智能合作伙伴”。陈若琳表示，中国国家跳水队与百度从2019年就开展了深入的技术合作，携手走过了东京奥运会、福冈世锦赛、杭州亚运会，目前正在备战明年巴黎奥运会。“感谢百度一直以来提供的技术支持与服务，未来双方将携手持续用人工智能技术帮助跳水队智能训练，通过科学训练提升竞技水平。”

7. 百度人才培养星河计划发布，再培养500万大模型人才

  王海峰现场公布了百度人工智能人才培养的最新数据，百度在2020年提出5年为全社会培养500万AI人才，截至目前，百度已经培养了420万AI人才。

  当下，大模型成为人工智能发展的热点方向，进一步加速产业变革，AI人才培养也需与时俱进。王海峰发布了百度人才培养星河计划，他表示，“我们将与产学研各界密切合作，深化产教融合，为社会再培养500万大模型人才，让人工智能科技的‘创新之花’，结出更多‘产业之果’，服务国家战略，服务社会发展，服务人民福祉！”