Rethinking Knowledge Graph Propagation for Zero-Shot Learning

Rethinking Knowledge Graph Propagation for Zero-Shot Learning(零样本的知识图谱传播再思考)

代码:  https://github.com/cyvius96/adgpm.

摘要:图卷积神经网络对于零样本学习上有很大的潜力,模型能够很强的泛化能力生成新类,当缺少样本的时候,然而,多层架构需要在图中传播,传播的过程中使用拉普拉斯光滑会相应的导致知识的减少,进一步的模型的性能会有所损失;为了更好地保留图神经网络中的知识,我们提出了稠密传播模型(dense graph propagation module),此模型可以对其节点之间的关系来添加联系;

 

  1. 引言

 

Rethinking Knowledge Graph Propagation for Zero-Shot Learning_第1张图片

随时数据量与物品类别的增加,我们需要使用先验知识来进行分类,这个是零样本分类;相较于基于先验知识的建模来说,先验知识可以是语义描述、属性、词嵌入量等;目前在非欧式距离的发展的非权重的知识图谱,比如说图、展开空间,图卷积神经网络用来处理回归问题,其在每层可以产生值,这些权重向量对应于最后一层,GCN可以平衡模型的复杂性与表达性之间的关系,这些模型用于分类,虽然半监督的;最近的工作中,GCN使用拉普拉斯平滑可以导致特征越来越相似,不利于分类,我们认为这种方不是零样本学习的最好方法,我们 实验论证了这个现象,选择浅层(1层)GCN会导致只考虑邻近节点的对于节点的影响,因此作者提出了一种新的连接方式,节点可以直接与父类/子类节点相连接,这种连接能够连接远距离信息,但是不能够得到图形架构的信息,所以我们进一步的提出通过距离来判定权重,此方法平衡了灵活性与重构性可以对节点更好地预测;如图1所示,第一步,the dgp 被训练来预测最好一层的权重;第二,我们使用GDP预测的权值代替CNN最后一层的,冻结权重值,通过优化的所见类的交叉熵分类损失对CNN剩余权值进行细化;

我们主要的贡献;

(1)、分析了零样本学习的直觉并说明了如何结合DGP技术

(2)、我们的DGP模型,暂时了其知识模型的框架能力

(3)、提出了权重的衡量方式在节点之间

(4)、实验结果优于现有方法

 

  1. 相关工作

图卷积网络:这种方法为作者提出的模型奠定了基础

零样本学习:GCN被训练用来预测在预训练CNN特征的分类器上 分类不可见的类,此方法发挥很大的作用;

  1. 方法

Rethinking Knowledge Graph Propagation for Zero-Shot Learning_第2张图片

3.1 图卷积网络用于零样本学习:

利用knowledge graph与词嵌入预测分类器用于可见与不可见的零样本学习,如CNN的最后一层,具体的框架如图2所示,CNN最后一层被解释为一个特定分类器输出类,两样本任务被表示为每个不可见类的一组新权重,DGP输入联合的知识图谱来预测类别;其可以捕捉语义信息对于每个特定的层,在这个参考中,预测权重来分类;

3.2 稠密图传播模型

此方法使用高级图结构用于零样本学习任务,避免知识衰弱,分为两个阶段来表达节点的连接性,父类与子类,与GCN不同,不直接使用知识图谱来表示邻居节点,由此避免了知识减少的问题,我们引入了两个分离的连接模式,一个是连接所有父类、另一个连接所有子类,使用两个临接矩阵,此方法直接可以连接所有节点,并不会因中间节点有所改变,如图1

距离加权方案:此距离是知识图谱上,并非抽密图,

3.3 微调

训练过程分为两个阶段;第一个阶段是训练DGP来预测预训练CNN的最后一层的权重,为了是适用特征的新类,使用交叉熵来优化CNN,这个阶段,最后一层的权重由权重与训练的类别,只有这个特征表达被更新;可以看做是DGP约束下的对CNN控制输出空间;

4 实验

Rethinking Knowledge Graph Propagation for Zero-Shot Learning_第3张图片

Rethinking Knowledge Graph Propagation for Zero-Shot Learning_第4张图片

与以往利用图卷积神经网络进行零样本习的方法相比,我们证明了零样本学习的任务得益于浅层网络。此外,为了避免浅层模型中节点间信息传播的不足,我们提出了DGP,它利用知识图的层次结构,加入加权稠密连接方案。实验证明了该方法的有效性,其性能优于已有的零样本学习方法。在未来的工作中,我们的目标是研究更先进的加权机制的潜力,以进一步提高DGP相对于SGCN的性能。未来的另一个方向是,为节点子集中可用的设置添加额外的语义信息

你可能感兴趣的:(论文阅读,paper_reading,分类问题)