I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph Convolutional Networks a

题目全称

I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph Convolutional Networks and Knowledge Graphs

问题类别

生成分类器、知识融合

问题描述

一种ZSAR(零次Zero-shot 行为/动作识别)框架,该框架用于自动生成新类别的分类器。其中,ZSL(Zero-shot learning)就是希望我们的模型能够对其从没见过的类别进行分类,让机器具有推理能力,实现真正的智能。现有的方法:1、忽略视频序列的时间建模(对视频的每一帧建模);2、利用KG时没有充分利用行为属性、行为行为和属性属性之间的关系建模

解决方法的核心思想

一种基于结构化知识图谱的端到端ZSAR框架。设计了一个分类器分支和实例分支组成的双流图卷积网络(TS-GCN)。1、分类器分支将所有概念的语义嵌入向量(包括行为、属性的嵌入向量,paper中属性取的是对象,如bike、baseball)作为输入,生成动作类别的分类器。2、然后,实例分支将每个视频实例的属性嵌入和分数(自注意模块生成)映射到属性特征空间(通过利用从视频中获得的目标分数来生成视频实例的属性特征)。其中,利用自我注意模块对视频的时间信息进行建模,生成目标分数。3、KGs(知识图谱)被合并到两个分支中来对三种类型的关系进行建模(即,行为-行为、行为-属性、属性-属性三种关系);4、最后,根据每个视频的属性特征(实例分支)对生成的分类器(分类器分支)进行评价,并采用分类损失来优化整个网络。

 

你可能感兴趣的:(GNN)