调GPU运算错误:Blas GEMM launch failed

tensorflow2 配置gpu

GPU版的tensorflow在模型训练时遇到Blas GEMM launch failed错误,或者keras遇到相同错误(keras 一般将tensorflow作为backend,如果安装了GPU版本的tensorflow,那么在使用keras时会优先使用GPU),类似报错如下:

Blas GEMM launch failed : a.shape=(1, 13), b.shape=(13, 64), m=1, n=64, k=13

看了国外讨论,说是有其他资源占用gpu。
具体解决:
在模型训练之前为tensorflow或者keras分配显存空间,tensorflow就用如下语句创建session:

import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.compat.v1.ConfigProto()
config.gpu_options.allocator_type = 'BFC' #A "Best-fit with coalescing" algorithm, simplified from a version of dlmalloc.
config.gpu_options.per_process_gpu_memory_fraction = 0.3
config.gpu_options.allow_growth = True
tf.compat.v1.keras.backend.set_session(tf.compat.v1.Session(config=config))

即可成功运行

  • 补充:若遇到tensorflow1 版本问题tf.改为tf.compat.v1.

enclose

NVIDIA-SMI系列命令总结
Make sure you have no other processes using the GPU running. Run nvidia-smi to check this.

配置Session运行参数&&GPU设备指定

  1. 记录设备指派情况 : tf.ConfigProto(log_device_placement=True)
  2. 自动选择运行设备 : tf.ConfigProto(allow_soft_placement=True)
  3. 限制GPU资源使用

tf提供了两种控制GPU资源使用的方法,一是让TensorFlow在运行过程中动态申请显存,需要多少就申请多少;第二种方式就是限制GPU的使用率。
一、动态申请显存

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

二、限制GPU使用率

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4  #占用40%显存
session = tf.Session(config=config)

你可能感兴趣的:(深度学习)