阿里 新零售领域的多模态知识图谱的建设与应用

原文出处 datafun talk 作者 阿里高级算法工程师徐国海 由本知乎号根据阅读整理

公众号 系统之神与我同在

1.知识图谱简介：

知识图谱（Knowledge Graph）是对现实世界中的实体、概念及其之间关系的刻画和描述，知识图谱的经典结构是三元组，三元组的内容包括实体、类型、属性、关系等等。一个简单的知识图谱示例如下：

知识图谱的典型应用包括：搜索推荐、智能问答、决策分析、智能创作等等。从应用种类来看，分为：

·原图应用：查询图谱后获取相关信息，结果基本满足应用需求。例如：搜索、推荐、问答等等。
·算法赋能：从图谱上获取信息后，作为下游任务模型的输入，联合建模完成应用需求。例如：决策分析、智能创作、认知计算

其应用形态包括以下几种：

·业务应用：自营业务 + 数据 + 算法（e.g., 阿里的商品知识图谱）
·知识中台：平台/第三方业务 + 数据 + 服务（e.g., 百度的知识图谱）
·解决方案，算法 + 工具化 + 实施（e.g., 阿里云、华为云）

2.领域知识图谱建设与应用
新零售场景下的业务问题主要是：如何有效连接用户和商品。用户通过搜索、与客服对话来获得商品信息。其核心问题是：1.需要从用户问题推理用户诉求，2.需要回答用户对商品具体信息的咨询，3.推荐商品时给出解释性推荐理由，促进成交转化。

为了解决上述问题，需要以用户和商品为基础，构建以POI为中心的领域知识图谱：

一个POI知识图谱的技术路径举例如下：

POI知识图谱的关键技术在于：

1.短语挖掘：通过远程监督获取种子短语，Wide and Deep 特征 + 随机森林分类器，Viterbi句子解码 + EM 框架，BERT MLM语言模型过滤(可选)。

其技术特色为：1.不需要人工标注，2.跨多个行业通用，3.挖掘的短语准确率高。

2.实体识别:远程监督：基于词典回标；引入外部知识：Lexicon自动短语挖掘和属性PV类型；使用CNN-CRF / FLAT-CRF、BERT-BILSTM-CRF；

其技术特色为：1. 利用远程监督降低标注量、2.2. 引入外部知识提升准确率。

**3.关系抽取：**采用BILSTM + GCN + CNN / BERT + FC + softmax + Entity + 分隔符（Knowledge） / K-BERT + ConceptNET + HowNET

其技术特色为：1.远程监督降低标注量、2. 引入外部知识提高效果（实体知识、边界信息、三元组知识库）

应用思路：

实际应用——导购推荐：基于领域知识优化粗召阶段

实际应用——卖点生成

3. 多模态知识图谱建设与应用

直播场景的业务问题：在直播场景，通过丰富的信息和多样化的模态，让用户快速认知商品，激发兴趣。例如打造以虚拟人为主的智能直播间和真人直播的智能助理。

目标：面向直播场景，构建以内容为中心，包含商品丰富的素材且具有不同模态表达的多模态知识图谱Multi-modal Knowledge Graph (MKG)。

核心要素：Concepts: 商品Aspect，Modals: 文本、图像、视频。

MKG的关键技术路径：

·文本知识挖掘
·图片处理
·多模态融合

关键技术：图文匹配

多模态预训练 & 预测：

pre-training阶段的输入格式：

Finetune阶段：

MKG的知识沉淀：
MKG的应用：虚拟主播-图文剧本生成

依靠MKG生成剧本，并搭配相应的图片。

MKG的应用：虚拟主播-短视频生成

包括规划路径、组织图片、生成剧本。

MKG的应用：智能辅播-商品展示