11月23日,中关村科金在北京举行“重构未来,产业智能跃迁”2023大模型产业前沿论坛,正式发布国内首个企业知识大模型、AgentGraph应用开发平台,以及“超级员工”助手系列AIGC应用,为企业提供开箱即用、系统无缝衔接、成本可负担的专属领域大模型服务。
中关村科金资深AI产品总监曹阳现场分享了《「模」式 再造,开启智能应用新篇章》主题演讲。
本文对曹阳的演讲内容进行了编辑整理。
“模式”一直是行业热词,如商业模式、产品模式、业务模式。大模型又将为当前的各种模式带来哪些变化?希望通过我的分享,可以帮助企业在模式驱动的时代中,找到快速前行的捷径。
中关村科金深耕企业服务领域,构建了完善的营销服全链路产品线,基于企业知识大模型,对相关产品做了全新升级,覆盖6大核心场景,包括培训助手、合规助手、服务助手、营销助手、写作助手、数据助手等,构成了企业“超级员工”助手。基于全新的智能应用范式,中关村科金希望赋能、服务、链接每一位员工。
基于不同形式的培训材料和培训要求,利用知识大模型快速抽取培训内容,针对学员能力画像,生成个性化陪练脚本,让学员随机遇到问题并灵活解答;既保证覆盖当前培训场景核心内容又能基于学员短板进行提升;通过数字人交互练习,在实际演练中提升学员的应变能力及专业能力。
针对财富业务场景,营销助手通过构建用户画像,提供包括用户基本画像和深层画像、投资经历、关注竞品、投资预测等数据信息,深入理解客户的投资需求。随后基于用户画像构建销售策略,结合大模型的生成提示能力,按照业务预先设定好的SOP执行任务,根据每个SOP对应节点选取的业务专家梳理的限定词,最终为客户生成专业、客观的投资建议和产品营销方案等。并且大幅减少理财师手工撰写文案的工作量、提升理财师单兵效能,同时帮助客户更好地做出投资决策。
服务助手利用大模型能力能够帮助提升政府服务效率(包含政务服务大厅客服服务、医保局客服服务、警务客服服务)。除了常规的话术辅助外,利用大模型的语义理解能力,服务助手还能帮助客户自动查询各类信息、自动抽取客户输入的信息,以及自动生成会话小结,极大的节省客服的查询、录入信息等工作上的时间花费。在此场景下,大模型预计能够降低客服系统超过70%的运营工作量。
企业对外发布的公文素材、视频、音频内容都需要做合规审核,合规助手能够基于对话要求快速制定质检规则、辅助实现智能化审核,对发布材料中是否涉及敏感词、违规用语做检测,确保发布内容合规,并提升质检更新的效率。
写作助手具备多风格文本写作、创意文案生成、智能摘要和待办生成、多语种翻译能力,具体表现为通过企业各类文档的模板进行定制化训练,可以进行模仿写作,快速生成特定文风的文档;根据指定的主题和关键词,自动生成多种相关的创意方向,大幅提高创意工作阶段的生产效率;将长篇文本自动提取出关键信息并生成简短的摘要,同时根据用户的需求和偏好,自动生成待办事项列表;利用大模型的翻译能力,能够精准地进行多语种的翻译,实现语言沟通无障碍。
基于三大能力实现六大功能。一是基于NL2SQL的智能取数,利用自然语言处理技术将用户的自然语言查询转换为SQL命令,实现直观高效的数据提取。二是基于机器学习的智能数据分析,应用先进的机器学习算法对数据进行深度分析,提供模式识别、预测和洞察。三是基于大型语言模型的对话交互,通过自然语言交互界面,使用户能够以对话形式进行复杂的数据查询和分析。
中关村科金一直致力于服务企业数智化转型,在大量的项目交付中,我们深刻体会到知识在各类企业智能化产品服务中的重要地位,属于关键的核心要素,如培训手册、营销SOP、产品文档、客户对话数据等,知识在很大程度上影响着系统在客户项目落地的最终效果。
知识是企业的核心资产,是助力客户、员工、企业成功的关键要素。怎样才能利用好知识资产?要回答这个问题,首先需要定义知识利用好坏的指标,因此我们提出了知识效用公式,知识效用=知识利用率x知识利用深度。
根据相关统计,当前企业数据只有26%被有效利用,而传统的企业知识库、QA型知识库、知识图谱等知识利用方式,都存在着不同问题,制约着知识利用的深度。
而大模型技术变革为我们带来了全新的知识应用「模」式——基于大模型的统一知识库,结合传统的企业知识库或原有技术方案,融合LLM,可以将知识效用推到全新高度。
为此我们推出了具备四大核心能力的ChatPilot知识助手。
一是文档和数据库问答,无论是PPT、Excle、Word等常见文档,还是数据库对接问答,均可实现;
二是网络搜索问答,基于开源的网络搜索或者指定搜索范围,进行网络搜索问答;
三是内容抽取、总结,基于全文内容或指定内容进行抽取和总结;
四是智能文档管理,提供丰富的智能化文档管理能力,对文档自动打标、自动分组,根据用户的权限实现文档数据的权限隔离。
中关村科金希望可以通过ChatPilot知识助手唤醒企业的知识财富,赋能十亿知识工作者。
我们已经在销售、服务、运营、研发、企业OA等多个场景实现了真实的业务落地,许多场景产出和效率提升明显。具体的实现方式为,通过统一知识库、多模态数据解析和基于大数据的问答链三位一体的组合式AI形式,解锁企业知识效率。
ChatPilot知识助手支持组织内部构建知识库,同时支持与个人数据库进行融合,无论本地、在线数据库都可接入到同一个知识库中,对接入的数据进行多模态的文档解析。
知识本身数据的好坏,很大程度上影响着大模型知识问答最终的生成表现。所以我们在多模态文档解析能力上持续深耕,基于技术经验和百万数据,对不同的文档类型和文档内容,进行不同的精细化调优和问答优化。
我们拥有完善的文档版面识别能力,可以识别15种版面类型,其中文本、表格、图表、公式等5类,可以结合相应的模型进行针对性解析。
数据解析完成后,在问答链环节,基于不同的文档内容,选用不同方式对文档数据进行切片,如句子、语义、段落或者语言,同时进行信息增强,如加注释、进行结构化,让大模型更好地理解文档内容。
切片后再通过不同的模型构建索引,形成库。当用户提出问题后,基于四百多类的对话任务链、提示链和思维链,对数据进行多级、多路的召回,之后重排重组召回结果,让大模型更好地理解。此外我们还会构建完善的运营监控平台,由人工弱介入对负向的case进行纠正,实现全链路的闭环反馈。
中关村科金拥有丰富的解决方案能力,可以将大模型知识助手融合到不同的解决方案中,满足企业多样性的需求。
分享两个案例:
一是某金融客户基于大模型的智能陪练应用案例。我们将各类知识结合客户业务要求,对知识大模型进行了领域微调,产品应用融合知识助手和营销助
手,使销售在用中学,在学中练,一改以往的陪练形式。
二是某政府客户基于文本机器人+大模型知识助手的方案。客户面对的主流场景为城市大脑数据库、应急救灾和政务服务,通过对文档智能解析、打标进行分类,结合辅助权限进行数据隔离,提供网页、H5、小程序、一体机等多渠道服务应用落地。
无论是超级员工还是知识助手的实践,都不是一帆风顺的,甚至可以说是荆棘密布。这一年,我们遇到了数据、模型、工程等一系列问题,可以称作是“挑战不可能三角的一年”,因为成本、效率、效果是各类生产活动和社会商业活动中面临的普遍问题,但在AI应用中尤为明显。
相较于传统应用,即使在同一场景中,AI应用也会随着客户的数据(数量、质量)、效果要求(发散、严谨)等有很大差异,且交付落地周期也会有很大波动。
比如我们优先考虑成本、效率问题时,可以考虑设计一个demo进行验证,但这个场景可能不够完善,测试过程中出现客户不满意甚至流失的情况;但如果我们倾向考虑效率、效果问题,就需要定制开发,成本很高,而且即使同类场景,不同客户的需求差异性也很大。
我相信很多同类厂商或者是甲方科技团队自研也会遇到同样的困境,如何破局呢?延续我们「模」式再造的思路,以及一年来的实践经验,中关村科金的破局之策是推出Agentgraph——成本、效率、效果的最佳平衡解决方案。
组建化、可视化、敏捷化和生态化是我们的实现路径。按照通用认知,Agent需要具备环境感知、任务规划、任务执行的核心能力,虽然Agent不是新概念,但它一直承载着人类通过自动化工具完成工作的理想。
而大模型的理解和逻辑能力,对Agent任务理解和规划进行了全新赋能,使Agent的规划能力产生了质的提升,相当于为Agent装上了智能化程度比较高的大脑。
因此这个理想被点燃了,我们也为此推出Agentgraph大模型开发平台,通过交互组建、流程发布、AI、系统工具和数据组建,在Agent拥有智能大脑后,进一步装上手和脚,配上了工具,极大地提升了Agent在任务处理方面的能力和边界。
通过组建的串联形成链,通过链的组合构建Agent,通过多个Agent的任务协同形成应用处理的核心能力,通过低代码的应用架构实现应用系统,最终形成AgentOS。
这个过程依然是基于组合式AI的思路,实现结构化和非结构化代码技术方案。底层的Agent能力相对原子化,通过不同的Agent组合构建不同的应用系统,最终实现基于Agent的应用生态。
未来,我们计划构建相应社区和开源,与行业共创、共建和共享大模型繁荣生态;也将推出SaaS化的生态版本和面向大客户的企业私域化版本。
Agentgraph能力全家桶,开启企业数智化转型新通路。我们提供了7大类、200+组件,从数据处理、AI能力、到系统工具全面涵盖,满足对能力的常见诉求。
同时,我们支持开放组件接入,兼容langchain、llamaIndex、Semantic Kernel等主流开源框架,客户基于这些主流框架搭建的应用可以快速迁移和兼容,降低使用门槛。如果客户有自己的算法或者系统能力已经有api、或者第三方api,都可以通过我们的创建组件功能,快速接入。
此外我们还提供了50个常见应用模板,方便大家开箱即用;如果客户有其他的扩展需求场景,我们还提供了8类交互能力,实现快速拼装应用落地。
对于Agent的搭建,我们提供可视化、友好的流程编排画布,对于Agent要用到的大模型能力,我们也通过了大模型服务,接入了国内外主流的大模型,提供多样性选择。
基于实用性的思路,我们提供Agent能力封装api,可以直接调用、单独使用;考虑到应用场景的多样性,我们也提供了多源数据接入,常见文档、网页、OA系统数据统统一键接入;同时,我们也提供完善数据管理服务。最后,Agentgraph融合了我们已有的低代码平台,支持上层应用拖拽式搭建,一站式完成应用开发。
总体来说,Agentgraph是一款提供开放大模型调用、可视化任务流程编排、AI及系统工具组件、数据处理及存储、低代码应用构建、监控运营的一站式、全链路大模型应用开发平台,为企业个性化大模型应用提供快捷、高效、安全的解决方案。
Agentgraph承载着中关村科金科技人的理想,我们希望通过Agentgraph给大模型装上操作系统,实现1+1=N,快速让企业实现chatbot对话机器人、分类打标、写作、数据分析等各类AI应用,让大模型的红利惠及1000万中小企业。
目前中关村科金ChatPilot知识助手和AgentGraph应用开发平台已开放申请,欢迎大家扫码体验,免费试用!