An Efficient PointLSTM for Point Clouds Based Gesture Recognition[CVPR2020]

[论文链接]
\qquad 本文提出了一种在保留空间结构的前提下实现信息从过去帧传播到未来帧的PointLSTM方法来对序列点云数据做手势识别和动作识别。PointLSTM通过权值共享的LSTM层，将过去帧邻近点的状态信息与当前特征相结合，更新当前状态。这种方法可以集成到许多其他的序列学习方法中。

\qquad 近年来RNN和LSTM在序列建模上取得了成功，利用LSTM可以从时空的一致性捕捉到运动和外观随时间的变化。论文中所使用的长短期记忆网络为一般的LSTM：
$${h\text{h}h}^{(t)},{c\text{c}c}^{(t)}=\mathbf{L}\mathbf{S}\mathbf{T}\mathbf{M}({y\text{y}y}^{(t)},{h\text{h}h}^{(t-1)},{c\text{c}c}^{(t-1)}).$$
${h\text{h}h}^{(t)}$为隐状态，${c\text{c}c}^{(t)}$为细胞状态。

\qquad 接下来，作者提出了使用LSTM处理点云序列的两种方式：

\qquad $(a)$ Point-independent states：考虑序列中的每个点$(p_i^{(t)}$拥有独立的隐状态和细胞状态。由于输入的点云通常为无序的集合，因此邻近的两帧点云之间没有精确的对应关系。这里作者放松了限制，使用当前帧中点在先前帧中的邻近点来代替。首先将先前帧中的临近点的特征传递给下一阵，然后在统一进行处理。对每个点对 $(p_i^{(t)},p_j^{(t-1)})$，$p_j^{(t-1)}\in N_{-1}({x\text{x}x}_i^t)$ 进行如下操作：
$$\begin{gathered} {y\text{y}y}_{i,j}^{(t)}=[{x\text{x}x}_i^{(t)}-{x\text{x}x}_j^{(t-1)};{f\text{f}f}_i^{(t)}] \\ {\widetilde{h\text{h}h}}_{i,j}^{(t)},{\widetilde{c\text{c}c}}_{i,j}^{(t)}=\mathbf{L}\mathbf{S}\mathbf{T}\mathbf{M}({y\text{y}y}_{i,j}^{(t)},{h\text{h}h}_j^{(t-1)},{c\text{c}c}_j^{(t-1)}) \end{gathered}$$
${\widetilde{h\text{h}h}}_{i,j}^{(t)},{\widetilde{c\text{c}c}}_{i,j}^{(t)}$为点对$(p_i^{(t)},p_j^{(t-1)})$的虚拟隐状态和细胞状态，最终点$p_i^{(t)}$的状态更新为：
$$\begin{gathered} {h\text{h}h}_i^{(t)}=g({\widetilde{h\text{h}h}}_{i,1}^{(t)},{\widetilde{h\text{h}h}}_{i,2}^{(t)},...,{\widetilde{h\text{h}h}}_{i,n_{t-1}}^{(t)}), \\ {c\text{c}c}_i^{(t)}=g({\widetilde{c\text{c}c}}_{i,1}^{(t)},{\widetilde{c\text{c}c}}_{i,2}^{(t)},...,{\widetilde{c\text{c}c}}_{i,n_{t-1}}^{(t)}). \end{gathered}$$
\qquad $(b)$ Point-shared states：考虑到每个点都独立会消耗巨大的计算量，为加速特征的更新过程，提出了一个简化版的PointLSTM：PointLSTM-PSS。这种情况下，相同帧中的点共享隐状态${h\text{h}h}^{(t)}$和细胞状态${c\text{c}c}^{(t)}$:
$$\begin{gathered} {y\text{y}y}_i^{(t)}=[{x\text{x}x}_i^{(t)};{f\text{f}f}_i^{(t)}] \\ {\widetilde{h\text{h}h}}_i^{(t)},{\widetilde{c\text{c}c}}_i^{(t)}=\mathbf{L}\mathbf{S}\mathbf{T}\mathbf{M}({y\text{y}y}_i^{(t)},{h\text{h}h}^{(t-1)},{c\text{c}c}^{(t-1)}) \end{gathered}$$
${\widetilde{h\text{h}h}}_i^{(t)},{\widetilde{c\text{c}c}}_i^{(t)}$为点对$(p_i^{(t)},p_j^{(t-1)})$的虚拟隐状态和细胞状态，点$p_i^{(t)}$的状态更新为：
$$\begin{gathered} {h\text{h}h}^{(t)}=g({\widetilde{h\text{h}h}}_1^{(t)},{\widetilde{h\text{h}h}}_2^{(t)},...,{\widetilde{h\text{h}h}}_{n_t}^{(t)}), \\ {c\text{c}c}^{(t)}=g({\widetilde{c\text{c}c}}_1^{(t)},{\widetilde{c\text{c}c}}_2^{(t)},...,{\widetilde{c\text{c}c}}_{n_t}^{(t)}). \end{gathered}$$
\qquad 对于邻近点的寻找方法，作者同样提出了两种思路：

$(a)$ Direct grouping：邻近点直接取当前点在先前帧中的k近邻。

$(b)$ Aligned grouping：通过对齐两个邻近点云的质心来对他们进行粗略的对齐：
$$\begin{gathered} ∆{\overline{x\text{x}x}}^{(t)}=\frac{1}{n_{t-1}}\sum _{i=1}^{n_{t-1}}{x\text{x}x}_i^{(t-1)}-\frac{1}{n_t}\sum _{i=1}^{n_t}{x\text{x}x}_i^{(t)} \\ ∆{x\text{x}x}_i^{(t)}\approx ∆{\overline{x\text{x}x}}^{(t)},fori=1,...,n_t. \end{gathered}$$
\qquad 其中$∆{x\text{x}x}_i^{(t)}={\widetilde{x\text{x}x}}_i^{(t-1)}-{x\text{x}x}_i^{(t)}$，利用$∆{x\text{x}x}_i^{(t)}$可以在先前帧中找到虚拟点，进而找到近邻，这样做也可以反应前面提出的方法对于小位移的鲁棒性。

\qquad 网络的基本结构如上图所示，包括5个阶段：Stage-1使用空间分组学习帧内特征，Stage-2到Stage-4使用时空分组和基于密度的采样学习帧间特征，Stage-5提取逐点的特征，最后使用Max pool得到全局特征。

\qquad Density-based sampling layer 从深度视频提取到的点云点的数量是很大的，而且绝大部分包含相同的深度信息。为减少冗余的计算，文中使用了基于密度的采样方法。点的密度计算方法为：
$$\rho (x_i^{(t)})=\frac{1}{n_t{r}^d}\sum _{j=1}^{n_t}w(\frac{x_i^{(t)}-x_j^{(t)}}{r})$$
$r$为$p_i^{(t)}$与其在${\mathbb{P}}^{(t)}$帧中k近邻的欧几里得距离，$w$是一个有界可积的权重函数。在每个采样层选取密度较低的点，因为这些点对应于点云的边界。

\qquad 为研究PointLSTM的有效性，作者通过用PointLSTM分别替换Stage-1,2,3,4得到了PointLSTM-raw以及PointLSTM-early，PointLSTM-middle和PointLSTM-late。
\qquad 具体实现的细节还需要等代码开源后再进行学习。