ConvLSTM原理解读

ConvLSTM最早是由《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》这篇文章提出的。

要理解ConvLSTM，首先要先来回顾一下LSTM的工作原理。

LSTM非常擅长处理时序信息也能处理空间信息。但对于三维图形来讲，因为有着丰富的空间信息并且每一个点和周围是有很强的相关性的，这就带来了冗余，传统的LSTM是很难刻画这种空间特征的。

由于 LSTM 在 输入-隐状态、隐状态-输出 的转换中使用了完全连接，因此也可以将其称为 Fully Connected-LSTM，FC-LSTM。

为了克服LSTM在处理三维信息中的不足，ConvLSTM 将 LSTM 中的2D的输入转换成了3D的tensor，最后两个维度是空间维度（行和列）。对于每一时刻t的数据，ConvLSTM 将 LSTM 中的一部分连接操作替换为了卷积操作，即通过当前输入和局部邻居的过去状态来进行预测。

LSTM 的表达如下所示：

ConvLSTM 将抽取空间特征的卷积操作加到了 LSTM 网络中，将 LSTM 中的一部分连接操作替换为了卷积操作。即：

其中，$\ast$ 表示卷积操作。

---

参考：
[1] 《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》