论文笔记AliMe KG: Domain Knowledge Graph Construction and Application in E-commerce
AliMe KG: Domain Knowledge Graph Construction and Application in E-commerce
垂直领域。
贡献：
-
AliMe KG：电子商务领域知识图谱。用于问答推荐系统，识别用户问题、推断用户需求、提供有用的物品信息、基于领域知识生成解释文本。
-
从自由文本中挖掘结构化知识。短语挖掘、命名实体识别、关系提取。
KG概述 :
本体包括：**用户、物品、场景、**等。
本文提出两个新的问题和解决方案，用need和cause两种新关系。
AliMe知识图谱本体：
短语分类：
-
用户问题：描述用户想解决的问题状态
-
用户POI：
-
CPV和IPV：从产品知识图谱中导入
KG构造：
输入数据源：聊天日志、条目详细页面、条目文章
先提取节点，建立联系，输出结构化知识。众包方式进行KG质量检测。
**POI挖掘：**从条目详细页面和文章中提取揭示用户兴趣或潜在需要的短语。eg. 亲肤、清痘。
给定一个领域(即一级类别)，我们首先从产品知识图谱中检索出叶子类别集和关联商品，然后从阿里巴巴电子商务内容平台中获取每个商品的详细信息和商品。随后，如图3a所示，我们使用启发式规则和短语挖掘来获取短语，并通过众包注释的方式收集正样本和负样本。然后，我们训练一个二进制BERT[4]分类器来预测提取的短语是否为POI。获得的候选POI将被人群注释器进一步检查，最后被接受的将被添加到我们的知识图中，并组织为“Category - has - POI”元组。
我们采用短语自动挖掘方法[15]，对其进行深度语义特征扩展以提高短语分类质量，并进一步采用BERT掩码语言模型(MLM)进行剪接。
AliMe MKG: A Multi-modal Knowledge Graph for Live-streaming E-commerce 面向直播电子商务的多模态知识图谱
阿里小蜜多模态知识图谱的构建与应用
——阿里巴巴达摩院
阿里小蜜多模态知识图谱的构建及应用 - 知乎 (zhihu.com)
知识图谱：用实体与关系的三元组去表示知识。
图谱构建：
1、节点挖掘
技术栈包括短语挖掘、同义词挖掘、短语 Typing 、实体识别等。
2、关系构建
主要通过关系抽取从文本中挖掘出点与点之间的关系，也可以通过推理方式，比如知识补全的一些算法去做补充挖掘
多模态知识图谱
构建：
-
文本知识挖掘
-
图片处理
-
多模态融合
1、文本知识挖掘
文本知识挖掘+节点关联：
图片语文本关联（文本-image_of-图片）：
-
图片分类
-
图文匹配：
-
基于目标检测来提取 ROI作为特征输入 ——学术界主要方法。但是公开的region类别有限且与电商交集很少，需要标注大量数据训练模型提取region。×
-
类似于 pixel BERT：模型直接处理原始像素。输入文本和图片，相对应。
文本tokenize分词。
CNN提取图片特征-6*6-拉平向量表示，输入模型当中。
预训练任务：图文是否匹配；mask文本信息；
mask图片的特征，通过regression方式预测，效果更好。
在 pre-training 阶段收集了百万级别的数据去训练（文本加图片），在 finetune 阶段，将文本节点和图片节点进行匹配，输入就变成了带匹配的文本内容和图片的信息。当然这边图片的信息依然会把 OCR 的信息和图片的信息送入到模型当中去做预测。
-
2、图片处理
3、多模态融合
AliMe MKG: A Multi-modal Knowledge Graph for Live-streaming E-commerce. CIKM2021
· AliMe Avatar: Multi-modal Content Production and Presentation for Live-streaming E-commerce. SIGIR2021
· AliMe KG: Domain Knowledge Graph Construction and Application in E-commerce. CIKM2020
· AliMe KBQA: Question Answering over Structured Knowledge for E-commerce Customer Service.CCKS2019
· Using Event Graph to Improve Question Answering in E-commerce Customer Service. ISWC2019
· 《基于词汇增强的中文命名实体识别》，2020AICUG 人工智能社区分享
· 《结构化知识及其在阿里小蜜的应用》, 2019 知识图谱前沿技术论坛分享
Automated Phrase Mining from Massive Text Corpora. TKDE2018
· Mining Quality Phrases from Massive Text Corpora. SIGMOD2015
· Automated Phrase Mining from Massive Text Corpora. TKDE2018
· A Survey on Deep Learning for Named Entity Recognition. TKDE2020
· FLAT: Chinese NER Using Flat-Lattice Transformer. ACL2020
· Enriching Pre-trained Language Model with Entity Information for Relation Classification. arXiv2019
· K-BERT Enabling Language Representation with Knowledge Graph. AAAI2020
· SQL-to-Text Generation with Graph-to-Sequence Model. EMNLP2018
· Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers. arXiv2020
1、Ontology 本体论
由实体和其关系构成的集合。
以常见场景为例：A user intent to buy some items at/for a certain scenario.
三个最常见概念：user、item、scenario。
关键在于image的添加。
2、构建
构建流程
-
文本知识提取
三元组导入，POI从商品详情页or others使用短语挖掘、BERT分类器提取，关系通过关系抽取。
如果产品有满足……要求的属性值，则产品满足……要求。
-
图像提取
从商品详情页提取图片。图片过长则利用边缘检测根据图像信息将图像分割；通过图像分类、光学字符识别(OCR)和启发式规则(例如，OCR文本的面积比例、OCR文本块的数量)来过滤噪声图像。
-
跨模态融合
看做文本图像匹配问题，transformer从image patches 学习图像。
- 模型预训练
- 模型微调
3、应用
通过知识图谱进行问答，生成短视频。