Keras TimeDistributed 详解

keras.layers.TimeDistributed(layer)

这个封装器将一个层应用于输入的每个timestep。

输入至少为 3D，且第一个维度应该是时间所表示的维度。

考虑 32 个样本的一个 batch， 其中每个样本是 10 个 16 维向量的序列。 那么这个 batch 的输入尺寸为 (32, 10, 16)， 而 input_shape 不包含样本数量的维度，为 (10, 16)。

理解：
比如说我们有32个样本的batch，每个样本都有10个word，每个word又是32维向量表示，所以输入为（32，10，16）。但是这个包含时间步的输入没法直接放入Dense中做处理，所以我们需要讲每个时间不拿出来单独处理。就是每个样本中的第一单词开始，这样就得到输出 ：（None，32， 16）

你可以使用 TimeDistributed 来将 Dense 层独立地应用到 这 10 个时间步的每一个：

# 作为模型第一层
model = Sequential()
model.add(TimeDistributed(Dense(8), input_shape=(10, 16)))
# 现在 model.output_shape == (None, 10, 8)

输出的尺寸为 (32, 10, 8)。

在后续的层中，将不再需要 input_shape：

model.add(TimeDistributed(Dense(32)))
# 现在 model.output_shape == (None, 10, 32)

输出的尺寸为 (32, 10, 32)。

TimeDistributed 可以应用于任意层，不仅仅是 Dense， 例如运用于 Conv2D 层

model = Sequential()
model.add(TimeDistributed(Conv2D(64, (3, 3)),
                          input_shape=(10, 299, 299, 3)))