调GPU运算错误:Blas GEMM launch failed

tensorflow2 配置gpu

GPU版的tensorflow在模型训练时遇到Blas GEMM launch failed错误，或者keras遇到相同错误（keras 一般将tensorflow作为backend，如果安装了GPU版本的tensorflow，那么在使用keras时会优先使用GPU），类似报错如下：

Blas GEMM launch failed : a.shape=(1, 13), b.shape=(13, 64), m=1, n=64, k=13

看了国外讨论，说是有其他资源占用gpu。
具体解决：
在模型训练之前为tensorflow或者keras分配显存空间，tensorflow就用如下语句创建session：

import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.compat.v1.ConfigProto()
config.gpu_options.allocator_type = 'BFC' #A "Best-fit with coalescing" algorithm, simplified from a version of dlmalloc.
config.gpu_options.per_process_gpu_memory_fraction = 0.3
config.gpu_options.allow_growth = True
tf.compat.v1.keras.backend.set_session(tf.compat.v1.Session(config=config))

即可成功运行

• 补充：若遇到tensorflow1 版本问题tf.改为tf.compat.v1.

---

enclose

NVIDIA-SMI系列命令总结
Make sure you have no other processes using the GPU running. Run nvidia-smi to check this.

配置Session运行参数&&GPU设备指定

1. 记录设备指派情况 : tf.ConfigProto(log_device_placement=True)
2. 自动选择运行设备 ： tf.ConfigProto(allow_soft_placement=True)
3. 限制GPU资源使用

tf提供了两种控制GPU资源使用的方法，一是让TensorFlow在运行过程中动态申请显存，需要多少就申请多少;第二种方式就是限制GPU的使用率。
一、动态申请显存

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

二、限制GPU使用率

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4  #占用40%显存
session = tf.Session(config=config)