LSTM中state 与 output关系

本文通过简单的实验说明lstm中 state与output之间的关系

假设参数如下：

batch_size = 4 # 训练语料中一共有4句话
sequeue_len = 5 # 每句话只有5个词语
ebedding = 6 # 每个词语的词向量维度为 6
hidden_size = 10 # 神经元个数为10

(1)output说明

    首先，比方说我们训练语料一共有4句话，每句话有5个词语，每个词语ebedding为6个维度，所以输入数据的

shape=［4，5，6］

    然后，经过一个或者多个神经元为10的 cell，（多个cell也是串联的，所以最后结果也就只有一份）得到 output 和 state。

     output shape = ［4，5，10］

    最后，output[:, -1, :] 我们取每句话中最后一个时刻（词语）的输出作为下一步的输入(相当与用最后一个时刻的输出来表示这句话)，这样，就得到了 4 x 10 的矩阵。

(2)state说明
state 是个tuple(c, h)
state = LSTMStateTuple(c=array([4,10], dtype=float32),  h=array([4,10], dtype=float32)）
说明：每句话经过当前cell后会得到一个state，状态的维度就是隐藏神经元的个数，此时与每句话中包含的词语个数无关，这样，state就只跟 训练数据中包含多少句话(batch_size) 和 隐藏神经元个数(hidden size)有关了。
     其中 c =[batch_size, hidden_size], h = [batch_size, hidden_size]

说明：经过多少个cell，就有多少个LSTMStateTuple，即每个cell都会输出一个 tuple(c, h)

(3)state 中的 h 跟output 的最后一个时刻的输出是一样的，即：
output[:, -1, :] = state[0].h

测试代码如下：

# -*- coding: utf-8 -*-
import tensorflow as tf
import numpy as np
def get_a_cell():
    return tf.nn.rnn_cell.BasicLSTMCell(num_units=10) #也可以换成别的，比如GRUCell，BasicRNNCell等等

# X = tf.random_normal(shape=[4, 5, 6], dtype=tf.float32)
# X = tf.reshape(X, [-1, 5, 6])
X = np.array([[[1,2,3,4,6],
         [0,1,2,3,8],
         [3,6,8,1,2],
         [2,3,6,4,1]],
        [[2,3,5,6,8],
         [3,4,5,1,7],
         [6,5,9,0,2],
         [2,3,4,6,1]],
        [[2,3,5,1,6],
         [3,5,2,4,7],
         [4,5,2,4,1],
         [3,4,3,2,6]]])
X = tf.to_float(X)

stacked_lstm = tf.nn.rnn_cell.MultiRNNCell([get_a_cell() for _ in range(1)], state_is_tuple=True)
# initial_state = stacked_lstm.zero_state(5, tf.float32)
# output, state = tf.nn.dynamic_rnn(stacked_lstm, X, initial_state=initial_state, time_major=True)
output, state = tf.nn.dynamic_rnn(stacked_lstm, X, time_major=False, dtype=tf.float32)

last = output[:, -1, :]  # 取最后一个时序输出作为结果
# fc_dense = tf.layers.dense(last, 10, name='fc1')
# fc_drop = tf.contrib.layers.dropout(fc_dense, 0.8)
# fc1 = tf.nn.relu(fc_drop)


with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print sess.run(last)

    print '-------------------------\n'

    print sess.run(state[0].h)

运行结果：

[[ 0.0313809  -0.01724125  0.19791707  0.00551758  0.11339158 -0.09302805
   0.23602076  0.68961358  0.01553136  0.36130285]
 [-0.00354887  0.0148001   0.16432436  0.01897741  0.22235572 -0.08562981
   0.14585365  0.75319165 -0.00278428  0.28128645]
 [-0.00527866 -0.00108556  0.19138697  0.01754982  0.15600391 -0.04693945
   0.02330696  0.91875976  0.12326637  0.33844444]]
-----------------------------------------------------------------------------------------

[[ 0.0313809  -0.01724125  0.19791707  0.00551758  0.11339158 -0.09302805
   0.23602076  0.68961358  0.01553136  0.36130285]
 [-0.00354887  0.0148001   0.16432436  0.01897741  0.22235572 -0.08562981
   0.14585365  0.75319165 -0.00278428  0.28128645]
 [-0.00527866 -0.00108556  0.19138697  0.01754982  0.15600391 -0.04693945

   0.02330696  0.91875976  0.12326637  0.33844444]]

版权声明：知识需要传播，如有需要，请任意转载https://blog.csdn.net/xiaokang06/article/details/80235950