行为识别论文笔记(一）
一、Spatio-Temporal Attention-Based LSTM Networks for 3D Action Recognition and Detection（IEEE2018)
关键词：LSTM\spatio-temporal\attention model\action recognition&detection
针对问题：将RGB video-based中曾用过的attention model移植到skeleton-based data中
相关工作：
RGB-based methods:易失3D信息
skeleton-based methods:
Kinect，易失表面信息
actionlet线性组合、加入成对关节距离（低程度的非线性）、连接矩阵中加入稀疏约束、adaboost选取关键帧
论文工作：
action recognition:
空间attention model:joint-selection gates----分配joints重要性----作用于输入端
时间attention model:frame-selection gates----分配frame的attention----作用于输出端
以上两种gates模仿了LSTM中的sigmond函数构成的门
时空域特征结合：1 空间和时间和主网络三个网络结合
2 损失函数的正则化中体现了时空模型的两个参数
action detection:
与滑动窗口不同，选择action proposal based on temporal model 9个candidates选一
IOU
(NMS)非极大值抑制，candidates融合
去噪。
待读文献：
Real-time human pose recognition in parts from single depth images
Multi-region two-stream R-CNN for action detection
Neural machine translation by jointly learning to align and translate
二、Temporal Segment Networks: Towards Good Practices for Deep Action Recognition(
关键词：two-stream\long-range temporal structure\input modality
针对问题：
Two-stream 网络针对single-frame or short snippets难以学习时间跨度长的视频
数据量少，如何提取更多视频信息
论文工作：
数据输入形式
RGB image就是video中的某一帧；RGB difference是相邻两帧的差，可以用来表达动作信息；optical flow field和warped optical flow field是视频的光流信息。分 spatial和temporal两路输入。提取各种信息，解决数据量少的问题。
sparse temporal sampling：Figure1的最左边是一个Video，用V表示，将V分成K份（文中K采用3），用(S1,S2,…,Sk)表示。
Tk是一个snippet，是从(S1,S2,…,Sk)中对应的视频片段Sk中随机采样出来的结果，每个snippet包含一帧图像和两个optical flow特征图。
F(Tk;W)是该snippet属于每个类的得分，g文中采用的是均值函数，H是softmax函数，g和H之间对两个网络的结果进行融合（spatial：temporal=1:1.5；temporal stream 1 for optical flow and 0.5 for warped）。
K个spatial convnet的参数是共享的，K个temporal convnet的参数也是共享的。
cross-modality pre-training：光流输入归一化到0`255(模拟RGB格式），Imagenet预训练卷积网络，微调第一层。三通道权重取平均值。
partial BN:微调第一层BN
三、RPAN：An end-to-end recurrent pose-attention network for action recognition（2017CVPR）
关键词：end-to-end\pose attention\RNN
针对问题：video-level category RNN无法学习复杂的动作结构
论文工作：
特征生成：TSN网络作为CNN提取特征（basenet)
姿态注意：Pose-Attention Mechanism
第t个视频帧在不同空间位置上的特征向量
每个关节点在每个空间点(K1xK2的大小)上的打分
归一化
13个关节合并到5个part
关节特征合并到part特征
最后Max,Mean or Concat将part特征结合成整体的分类
RNN:LSTM
Loss Function: action分类和pose估计联合损失函数，端到端
M：Heat maps for all the joints(heatmaps是难点）
参考资料：
https://blog.csdn.net/u014380165/article/details/79029309
https://blog.csdn.net/neu_chenguangq/article/details/79164830