多模态知识图谱构建和推理技术 王萌 东南大学

Multimodal knowledge：对某种东西从不同魔台上的意识或理解。
对相同事实抽取出多模态知识。
用不同模态知识表示相同个体（描述相同时事情）。
e.g.1 上海天气晴。
传统：上海—天气—晴。
多模态：
e.g.2 这个商品真不错。
可用知识表示：文本、对话、手势、表情

e.g.3伦敦
用图像表示景色、文本表示人口等，不同模态描述不同事实来更全面了解一个实体

知识图谱一个重要的应用：有助于消歧：

视觉实体消歧：比如识别姚明旁边的男人，可能有AB两个答案，但是如果有一个知识图谱记录姚明和他的故事，那么正确答案A一定和姚明更近一些，B更远。
不同模态关联得到更多的答案，比如识别姚明的鞋子，可能只能识别出小白鞋。但是如果有完备知识图谱，姚明穿的XXX鞋子，可以进行两组推荐，左边XXX牌别的颜色的鞋子，右边类似小白鞋。

多模态图谱：
历程：


特征抽取：
文本抽取：实体识别和实体消歧、关系抽取
视觉抽取：人脸识别、对象检测
先构建不同模态的结构化，然后两者进行grounding

在已有知识图谱的基础上长新的叶子






在医学领域，不同成像就是多模态。
传统知识图谱（节点边三元组+知识单元）
知识单元：
扩展目前知识图谱
形成多模态分面

如何扩展目前知识图谱：
Enhance KG：
目前图像信息稀疏，无多模态直接语义关系，每个实体信息更加丰富。
照片质量好（聚类）、多样性（且每个图像有自己的特征信息）、构建语义关联。
多模态知识单元发现：

医学领域：
多模态图像：不同成像图像也是多模态

同一模态信息能否建模不同模态特征。
可以借鉴多模态机器翻译。