深度学习中GPU和显存分析——gpustat

参考文章：https://www.cnblogs.com/vincent1997/p/10896299.html
https://blog.csdn.net/nkhgl/article/details/83957020
https://blog.csdn.net/u010412858/article/details/83110947
https://blog.csdn.net/qq_18649781/article/details/89405977

0 预备知识

分屏指令：tmux

这个指令有好多介绍了，就不详细赘述了。https://www.cnblogs.com/kevingrace/p/6496899.html

nvidia-smi

nvidia-smi是Nvidia显卡命令行管理套件，基于NVML库，旨在管理和监控Nvidia GPU设备。

图1

1 gpustat

这里推荐一个好用的小工具：gpustat, 直接pip install gpustat即可安装，gpustat 基于nvidia-smi，可以提供更美观简洁的展示，结合 watch 命令，可以动态实时监控 GPU 的使用情况。

watch --color -n1 gpustat -cpu

效果如下：

（忘记截图了，copy别人的）.png

让TensorFlow代码跑在GPU上

GPU占用问题
TensorFlow可能会占用视线可见的所有GPU资源

• 查看gpu占用情况：gpustat
  在python代码中加入：
  os.environ['CUDA_VISIBLE_DEVICES'] = '0' os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'
• 设置使用固定的gpu：
  CUDA_VISIBLE_DEVICES=1 Only device 1 will be seen CUDA_VISIBLE_DEVICES=0,1 Devices 0 and 1 will be visible CUDA_VISIBLE_DEVICES=”0,1” Same as above, quotation marks are optional CUDA_VISIBLE_DEVICES=0,2,3 Devices 0, 2, 3 will be visible; device 1 is masked
• 运行代码时
  CUDA_VISIBLE_DEVICES=0 python3 main.py
  T- ensorFlow自己提供的两种控制GPU资源的方法：
  1.在运行过程中动态申请显存，需要多少就申请多少

config = tf.ConfigProto()  
config.gpu_options.allow_growth = True  
session = tf.Session(config=config)

2.限制GPU的使用率

gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.4)  
config=tf.ConfigProto(gpu_options=gpu_options)  
session = tf.Session(config=config) 

TensorFlow代码
目前没有考虑在代码各个部分手动分配时GPU还是CPU
所以用 with tf.device(self.device): 把所有网络结构包了起来
然后用 config = tf.ConfigProto(gpu_options=gpu_options,allow_soft_placement=True) 让TensorFlow自己去分配了