多模态交互在，数智化营销服中的技术实践

营销服数智化进入人机协同阶段

数字经济从2019年起已连续4年写入政府工作报告，数字经济被看作是与农业经济、工业经济相对应的新的经济形态，数字化转型实际上是从工业经济向数字经济的转变。在如今这样一个充满不确定性的经济环境中，企业竞争的一个关键生产要素就是数据，或早或晚，任何组织都会走上利用数据创造价值的道路。

然而，数据本身很少直接创造价值，而是依托具体的业务场景。营销服是大多数企业都会涉及到的核心价值创造过程，也是数字化转型中最容易见到成效的环节，尤其是对于产品品类繁多或者业务逻辑复杂的行业。企业数字化转型必然要经历三个阶段：信息化、网络化和智能化。信息化是将核心生产要素（如：人、机、料、法、环）和关键价值创造过程（如：研、产、营、销、服）纳入信息系统。网络化是通过大数据、区块链等技术连接企业内外部数据，消除信息孤岛。智能化是通过人工智能等技术辅助操作和决策，达到降本增效、开源节流的效果。

营销服经过前些年的数智化探索，未来即将走进AI技术的深水区，主要原因在于：随着大数据和AI技术的普及，很多企业对技术的心理预期和业务效果比较基线被拉高了，进一步的效果提升依赖更复杂的AI技术。同时，越来越多的传统企业启动数字化转型项目，其中不乏产品种类繁多、业务流程繁琐的企业，浅层AI技术无法满足业务需求。拿呼叫中心举例：第一代呼叫中心基本上是拿到客户名单后做盲打；第二代呼叫中心为客户添加了一些属性维度，通过精准营销模型做筛选和排序后再拨打；而新一代呼叫中心则要求从系统日志中沉淀出优秀话术，并根据客户属性将话术素材组织成标准操作流程，企业不但希望系统告诉它哪些客户可营销，还希望在一步步地话术提示下营销。

营销服数智化不单是技术问题，还是管理问题，最终可能都会涉及流程变革，将以往人工主导的方式改造成人机协同的方式。人机协同是一门综合学科，它与人机工程学、多媒体技术、计算机科学、机器学习、认知心理学等密切相关，它通过合理有效的交互协调机制，集成人类智能和人工智能，由人类和机器人一起组成团队，自主交互，协作共赢。

多模态交互是实现人机协同的重要途径

传统的营销服系统（如呼叫中心、客服系统）仅仅起到连接客户（Customer）和客户经理（Agent）的通道作用，系统本身没有决策能力。

在数智化阶段，企业需要的不仅仅是另外一款连接用户的沟通系统，还希望系统具备以下能力：

01

实时交互能力

适时地介入到客户经理与客户的交互过程中，在其中增加客户与机器的交互、客户经理与机器的交互，判断哪些任务交给客户经理、哪些任务交给后台机器人处理，并且选择适当的交互方式。

02

客户洞察能力

全方位地了解客户，既知道客户的基本属性，又能精准感知到客户当前的情绪状态和潜在需求。

03

业务决策能力

同时具备领域事实知识（如产品、竞品）和领域技能知识（如营销话术、售后处理流程）。

04

最佳实践总结能力

快速发现用户需求及其变化趋势，并总结出应对的最佳实践。在总结过程中，最好能通过傻瓜式的工具简单、快速地完成，形成人机协同的闭环。

无论是售前营销还是售后服务，数智化的背后都依赖多模态交互技术的支撑，都是感知智能、认知智能、决策智能和生成式AI这四大类技术的综合呈现，多模态交互是实现营销服数智化的关键技术。

三个模块组成多模态交互引擎

中关村科金在过去8年间，服务了金融、零售、教育、医疗、智能制造等多个行业的500多家头部企业，在营销、服务、运营的三大类环节中提供了200多个细分场景的解决方案。基于上述经验，中关村科金打造了一款多模态智能交互引擎，主要包含三部分：多模态感知系统、领域知识中台和交互式决策引擎，其逻辑架构如下图所示。

逻辑框架图

01

多模态感知系统

主要负责理解用户的意图和深层次需求。该系统的输出是对客户的结构化表示，包含但不限于：客户人口统计学标签、客户短期状态标签、环境上下文特征、客户意图的类别标签或嵌入式表示。

02

领域知识中台

主要负责对企业内的领域知识做全生命周期管理。通过与知识官人机交互的方式将企业的核心生产要素、核心价值活动做统一化、标准化处理，帮助企业解决知识难以集中管理、难分享、难传承的问题。领域知识中台可以同时支撑对内的知识检索、员工培训以及对外的精准营销、客服系统等，具体内容包含但不限于：经营策略集、交互策略集、领域知识库等。

03

交互式决策引擎

主要负责两类工作，一方面是实时客户交互，通过对客户的感知洞察，找到匹配的标准化策略，选择与客户经理协同的机制（如：互补人机协同机制、混合人机协同机制、多人多机协同机制），并在客户交互中达成营销服目标；另一方面是在交互过程中，发现现有活动策略的不足，通过流程挖掘的方法找出潜在的最佳实践。

全栈科技能力的挑战

数智化营销服系统需要汇总的信息类型非常多，判断的逻辑和流程非常复杂，它既是对产品设计能力的考验，也是对ICT综合技术能力的考验。其中，面临的技术挑战可以归纳为四个方面：

01

感知层面

如何在高并发、全渠道（如官网、APP客户端、小程序、官方微信公众号等）、全媒体（文本、语音、视频等）环境下，兼顾系统稳定性、客户便利性、识别准确性？这其中涉及融合通信、音视频编解码、融合通信、语音识别、图像识别、自然语言理解、数字人渲染等技术。

02

认知层面

如何从繁杂的系统日志中将隐性知识挖掘出来并做显性化表示？如何解决领域知识库的冷启动问题，降低人工标注成本高？如何使各类知识、模型具备更新迭代能力，适应客群特征和外部环境的快速变化？这其中涉及流程挖掘、知识图谱、在线学习、主动学习、冲突监测等技术。

03

决策层面

如何从历史日志中挖掘出最优执行策略（如优秀话术）？如何基于客户特征和环境上下文等信息，自动地探索出潜在的执行策略以弥补现有策略集的不足？这其中涉及强化学习、因果推断、反事实干预等技术。

04

应用层面

如何在人机切换时保持平滑的用户体验？如何在客户需求不明确的情况下逐步引导客户？如何在技术准确度不够时通过产品设计来弥补？如何让不懂AI的运营人员经过短时间培训就能接手整个系统？这其中需要恰当的人在回路（human-in-the-loop）的产品设计，需要对行业有深刻理解的产品经理，也需要经过与业务专家的长期共创。最好的AI是让用户察觉不到的AI。

行业应用案例

新技术促生新场景，新场景激发新技术。移动网络下的音视频通信技术使得很多业务可以线上办理，生物识别技术使得身份伪造的成本变得越来越高......中关村科金将音视频通信、人工智能、大数据技术进行深度融合，并在金融、零售、教育、医疗、智能制造等产业的多个行业场景落地。几类典型的应用场景包括：

基于OCR技术的RPA（机器人流程自动化）产品，应用在某财务公司，实现了应收对账自动化、报告自动化、智能化核对信息，高效、高质量。

基于语音合成技术的外呼机器人，应用在西南某市公安部门，单个机器人每年外呼量达数10万通，配合人工坐席，与传统全人工模式相比，可降低90%的成本。

基于知识库问答技术的客服机器人，应用在永安保险客服接待、咨询等业务场景，问答准确率达到90%以上，提供7*24小时服务，可分流60%+的客户咨询。

基于语音识别、图像识别、视频服务等能力的全自助智能视频签约系统，用在某信托公司的，面向C端客户提供全自助的智能视频签约服务，可批量化、自动化进行视频面签；在实现机构人力成本减少60%的同时，客户满意度提升90%

基于音视频技术的远程双录系统，用在某大型股份制商业银行，通过远程方式，提高业务办理效率，效率提升200%，投诉比例下降70%，抽检比例由人工的1%-5%，实现100%全业务覆盖，至今“0”骗贷行为。

虚拟数字人技术在邮储银行某分行的智慧网厅落地，用于产品营销讲解、金融业务办理、资讯播报、咨询问答等多个业务场景，实现与用户的可视化交互，进一步提升了智慧网厅的科技感和网厅的接待能力。

总结与展望

数字经济是以新一代信息技术和智能技术为基础设施和创新要素，以业务赋能和产业创新为核心内容，具有数据驱动、人机协同、跨界融合、共创分享四大特征。企业数字化转型在催生新需求、新业态的同时，通过多模态交互的方式重塑企业的生产流程。营销服的数智化已经在数据基础较好的互联网行业和金融行业中呈现出了从降本增效、到流程重塑、再到改变行业格局的态势，在更多的传统行业中也有很多成熟的应用案例。

中关村科金的多模态交互引擎是面向企业营销服数智化的全生命周期、一站式的解决方案，它通过多模态客户洞察组件感知客户需求，通过领域知识中台对业务知识进行聚合、关联、融合、补全等形式的再组织，形成领域事实知识库（KnowWhat）和策略集（KnowHow），最后再在交互式决策引擎的辅助下以人机协同的方式服务客户。

随着越来越多的企业数据基础在逐渐完善，未来中关村科金会持续深入挖掘智慧金融、智慧政务、智慧零售等领域智能科技的创新场景应用，并重点发力智能制造、农业、碳中和等领域，促进人工智能与实体经济深度融合，以人工智能高水平应用促进国家经济高质量发展。