千亿参数的盘古大模型

盘古系列AI大模型包括NLP大模型、CV大模型、多模态大模型、和科学计算大模型。具备超大神经网络,实际参数量超千亿;具备强大网络架构,实际综合性能比定制化模型提升10%;具备优秀泛化能力,全场景覆盖率提升10倍+。

传统“作坊式"AI开发存在多类问题

【问题1】针对不同场景,AI应用重复性定制化开发,从数据处理,模型选择,模型训练,模型微调与优化,投入大量人力和时间
【问题2】小模型性能难达标
【问题3】定制化小模型换应用场景后模型难适配,需重新开发
千亿参数的盘古大模型_第1张图片
盘古大模型-AI开发新模式

【1】 适配多场景. 突破性实现AI模型通用、泛化和复制,相对于作坊式开发,AI工业化开发效率提升10~100倍
【2】AI大模型具备更佳的性能,实际综合性能比定制化模型提升10%
千亿参数的盘古大模型_第2张图片

盘古NLP大模型–业界首个千亿参数中文大模型

盘古NLP大模型由华为云、循环智能和鹏城实验室联合开发,具备领先的语言理解和模型生成能力:在权威的中文语言理解评测基准CLUE榜单中,盘古NLP大模型在总排行榜及分类、阅读理解单项均排名第一,刷新三项榜单世界历史纪录;总排行榜得分83.046,多项子任务得分业界领先, 向人类水平(85.61)迈进了一大步。

盘古NLP大模型预训练阶段学习超40TB文本数据,并通过行业数据的小样本调优,提升模型在场景中的应用性能

预训练阶段沉淀了大量的通用知识,同时既能做生成又能做理解的特性让大模型有能力支持行业知识库和数据库的嵌入,对接行业经验
encoder-decoder架构基础上植入了特点训练技巧、方法,性能优异。中文权威CLUE榜单分类任务、阅读理解任务,总成绩排名第一;Rouge Score平均分0.53
基于提示(prompt-based)调优、动态冰化等一系列正则化技术,实现小样本学习任务上超越GPT系列

盘古CV大模型–超30亿参数业界最大CV大模型
CV大模型,解决AI工程难以泛化和复制的问题。现有的AI工程需要针对不同场景做定制化开发,费时费力;盘古CV大模型的出现,使AI开发进入工业化模式,即一套流水线能够复制到不同的场景中去,大大节约研发的人力和算力。

盘古CV大模型首次兼顾图像判别与生成能力,能同时满足底层图像恢复与高层语义理解需求
能够简单高效融合行业知识,快速适配各种下游任务。盘古CV大模型已经在100余项实际任务中得到验证,大幅提升了业务测试精度,节约90%以上的研发成本

以上信息来自华为云官方,但要说一下华为云盘古大模型官网是真的不很好找:盘古大模型
此外,盘古大模型基于华为云AI开发平台ModelArts研发,ModelArts官网可能对于更多人更加熟悉:AI开发平台ModelArts

你可能感兴趣的:(华为云,人工智能,盘古大模型,人工智能,盘古大模型,AI开发,AI开发平台,ModelArts)