Gait Part论文阅读笔记

abstract and conclusion

之前的研究都是把整个身体结构送入网络去获得时空表征。然而本文观察到，人体不同部分在行走时拥有不同的表观和运动模式。因此我们认为人体的每个部分都需要自己的时空表达。所以我们提出了一个part-based model（GaitPart）（在空间对步态数据进行分块，每块使用形状一样但参数不同的网络提取特征），以其中一块为例：对空间和时间特征分别提取，空间上提出了一种新的卷积应用——Focal Convolution Layer，以增强局部空间特征的细粒度学习。时间上提出了微运动捕捉模块对细分的时间块内数据提取特征。

method

Pipeline

本文先将步态数据在高度轴上分成几块，对于每一块是先提空间特征，然后池化处理成一维向量。然后把同一块内的不同帧对用的一维向量送入MCM模块提取时间特征，处理成一个一维向量。最后不同区域的一维特征向量送入可分离全连接层处理，再送入可分离三元损失做识别。

Frame-level Part Feature Extractor

设置细节：

Temporal Feature Aggregator

MTB模块：


参数细节：

TP模块：
TP模块可以选择两种操作方式分别是最大池化和平均池化。但是本文对这两种方式进行了分析，认为最大池化比平均池化更适合。
平均池化：

这里T认为是一个完整步态周期，作者认为只有当t是T的整数倍时二者才相等。但是实际上我们选区的帧数是不可能做到t是T的整数倍的。所以这个的效果并不好。
最大池化：

因为步态是周期性的。所以这两个式子一定是相等的。

思考

最后做帧池化时，平均池化一定含有比最大池化更多的信息，但是由于帧数不是T的整数倍，所以不能使用平均池化，那能不能有一种方法保留了平均池化丰富的信息，又不会受不是整数倍的限制。