Error occurred when finalizing GeneratorDataset iterator: Failed precondition: Python interpreter...

在使用TensorFlow 2.4.0的时候报错:

Error occurred when finalizing GeneratorDataset iterator: Failed precondition: Python interpreter state is not initialized

在网上查阅资料,大概有以下几种说法:

  1. TensorFlow 版本问题,2.3以上版本应该没这问题了
  2. tf.distribute + tf.keras产生的问题
  3. OOM了,将bs设置小一点

几种据说可行的方法:
①用单gpu训练
②worker设置为1
③将 GPU 的显存使用策略设置为 “仅在需要时申请显存空间”(注:设置在代码开头)

gpus = tf.config.list_physical_devices(device_type='GPU')
for gpu in gpus:
    tf.config.experimental.set_memory_growth(device=gpu, enable=True)

我的情况:第一个epoch训练完后,在进行evaluate时,报上面的错误。最后发现是test文件夹中多了.DStore文件,导致文件读取出错了。

你可能感兴趣的:(深度学习,cuda,gpu,anaconda)