论文笔记:Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)

核心思想:学习Interactiveness Knowledge来判断是否存在人与物体的交互。用图来表示图片中的实例和关系,实例是节点,关系是边,如果采用穷举法配对,将会产生大量的边,其中大部分没有交互关系的边都应该被舍弃。

思路:任何HOI数据集都可以转换成二分类标签,用来学习Interactiveness Knowledge。先用Interactiveness Knowledge进行Non-Interaction抑制,得到稀疏图,再进行交互关系的分类。

具体
1.包括三部分:特征表示R、交互判断P、交互分类C
论文笔记:Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)_第1张图片
2.特征表示R采用带有ResNet-50的Faster R-CNN,在train和test中R都被冻结作为特征提取器
3.交互分类C采用多流融合的结构
4.交互判断P需要:human和object的外观特征,两者的空间位置,human的pose。对于human用姿态估计估计出COCO格式的17个关键点,然后将关键点用值为0.15到0.95的线连接来表示身体part,而其他区域设为0.,最终pose map大小为64x64。然后将pose map跟human map和object map连接,组成sp特征(空间)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
L为LIS,其中T、i、w由数据确定
5.训练
论文笔记:Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)_第2张图片
6.最终预测
论文笔记:Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)_第3张图片

你可能感兴趣的:(Visual,Relationship,机器学习,人工智能,深度学习,计算机视觉,神经网络)