Two-Stream RNN/CNN for Action Recognition in 3D Videos－阅读笔记

在youtube上看到这篇论文的视频，做的效果还不错，简单阅读一下：
- 视频链接：https://www.youtube.com/watch?v=G0PXKCEgIoA.
- 论文链接：https://arxiv.org/abs/1703.09783
- 该论文在NTU RGB+D 数据集上进行训练和测试
- 该论文整体也是行为识别领域流行的Two-stream结构，不同的是，其中一个stream是通过人体关节点坐标构建的，另一个stream是从RGB图像中提取的特征

• 利用人体关节点构建行为特征，输入是两个人的关节坐标构成，即25＊2＝50维，主要使用GRU网络进行特征提取，作者使用两层GRU网络,后经BN层、droupout层。该部分使用tf实现，论文中有详细参数设置情况
• RGB部分使用3Dcnn模型进行提取
• 特征融合，该部分作者使用两种方法，一种是使用两个网络分别进行分类，最后将预测得分进行加权求和；另一种如上图所示，直接将两个网络最后一个全链接层的特征进行拼接，得到600+4096=4690维度的特征，然后利用svm分类
• 本文并没有发表在会议或期刊上，也没有源代码，只是简单阅读了解一下思路