论文笔记：GSNN: The More You Know: Using Knowledge Graphs for Image Classification

Paper, CMU, CVPR 2017

• 人类有从世界中获取信息并进行推理的能力，可以通过了解物体的特征以及特征之间的的关系来从少量的样本中学习视觉概念。
• 通过结构化的先验知识以知识图谱的形式来优化image的分类：recognizing, recalling knowledge, reasoning。不再从整体上识别一个物体，而是识别部分特征，通过推理的方式理解物体的类别
• 方法：
  • propagation network：学习一个邻接矩阵以及每个节点的状态表示
  • Importance network：因为一次性在整个图上进行学习的代价太高，因此从传播通过Faster RCNN提取出来的visual node的信息来进行学习。通过向原始节点的active set添加邻接节点并且传播原始节点的beliefs来对节点的重要性进行判定，在每一个时间步中以特定的方式决定邻接节点是否继续传播（这个邻接关系是否足够重要）
  • Classification net：在最后一个时间步中将每个节点的输出重新排序，并加入zero-pad传给分类网络