tensorflow2.0 分布式训练 SystemError: PyEval_EvalFrameEx returned a result with an error set

## 使用tensorflow 2.0  分布式训练模型时,使用tf.distribute.MirroredStrategy,有时候会出现:

SystemError: PyEval_EvalFrameEx returned a result with an error set

出现这种错误,有可能的原因是:

data_decoder = self.tokenizer.texts_to_sequences(de_seq_list)
data_decoder = tf.keras.preprocessing.sequence.pad_sequences(data_decoder, padding='post')
data_gen = tf.data.Dataset.from_tensor_slices((data_encoder, data_decoder))
data_gen = data_gen.shuffle(2019).batch(batch_size)

如上,在读取数据的时候,忘记了增加如下参数:

data_gen = data_gen.shuffle(2019).batch(batch_size, drop_remainder=True)

一定要增加drop_remainder=True,这个参数的意思是说不够一个batch的时候就舍去,比如batch size是4,最后还有3个样本,如果设置为True,就会省去后面三个,因为当你是4张卡的时候,这个参数默认是False,那么就会报上面的错误,因为3个样本不够分给4张卡。

你可能感兴趣的:(深度学习,tensorflow)