Two-Stream RNN/CNN for Action Recognition in 3D Videos-阅读笔记

在youtube上看到这篇论文的视频,做的效果还不错,简单阅读一下:
- 视频链接:https://www.youtube.com/watch?v=G0PXKCEgIoA.
- 论文链接:https://arxiv.org/abs/1703.09783
- 该论文在NTU RGB+D 数据集上进行训练和测试
- 该论文整体也是行为识别领域流行的Two-stream结构,不同的是,其中一个stream是通过人体关节点坐标构建的,另一个stream是从RGB图像中提取的特征

Two-Stream RNN/CNN for Action Recognition in 3D Videos-阅读笔记_第1张图片

  • 利用人体关节点构建行为特征,输入是两个人的关节坐标构成,即25*2=50维,主要使用GRU网络进行特征提取,作者使用两层GRU网络,后经BN层、droupout层。该部分使用tf实现,论文中有详细参数设置情况
  • RGB部分使用3Dcnn模型进行提取
  • 特征融合,该部分作者使用两种方法,一种是使用两个网络分别进行分类,最后将预测得分进行加权求和;另一种如上图所示,直接将两个网络最后一个全链接层的特征进行拼接,得到600+4096=4690维度的特征,然后利用svm分类
  • 本文并没有发表在会议或期刊上,也没有源代码,只是简单阅读了解一下思路

你可能感兴趣的:(论文总结)