I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph Convolutional Networks a

题目全称

I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph Convolutional Networks and Knowledge Graphs

问题类别

生成分类器、知识融合

问题描述

一种ZSAR（零次Zero-shot 行为/动作识别）框架，该框架用于自动生成新类别的分类器。其中，ZSL（Zero-shot learning）就是希望我们的模型能够对其从没见过的类别进行分类，让机器具有推理能力，实现真正的智能。现有的方法：1、忽略视频序列的时间建模（对视频的每一帧建模）；2、利用KG时没有充分利用行为属性、行为行为和属性属性之间的关系建模

解决方法的核心思想

一种基于结构化知识图谱的端到端ZSAR框架。设计了一个分类器分支和实例分支组成的双流图卷积网络（TS-GCN）。1、分类器分支将所有概念的语义嵌入向量（包括行为、属性的嵌入向量，paper中属性取的是对象，如bike、baseball）作为输入，生成动作类别的分类器。2、然后，实例分支将每个视频实例的属性嵌入和分数（自注意模块生成）映射到属性特征空间（通过利用从视频中获得的目标分数来生成视频实例的属性特征）。其中，利用自我注意模块对视频的时间信息进行建模，生成目标分数。3、KGs（知识图谱）被合并到两个分支中来对三种类型的关系进行建模（即，行为-行为、行为-属性、属性-属性三种关系）；4、最后，根据每个视频的属性特征（实例分支）对生成的分类器（分类器分支）进行评价，并采用分类损失来优化整个网络。