nvidia-smi：gpu资源使用情况监控（动态获取gpu利用率、内存利用率、温度等参数）

1、显示内存、gpu的占用率，动态显示成列表形式，并输出到csv表格中。

lms是毫秒为粒度刷新 如果秒的话，参数设置为l就可以了

a. nvidia-smi -lms --query-gpu=timestamp,pstate,temperature.gpu,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv | tee gpu-log.csv

界面输出和csv文件内容如下：

b.如果需要监控其他的指标，可以用这个命令查看支持的属性

命令：nvidia-smi --help-query-gpu

执行效果：

 

2、nvidia-smi dmon -s m

优点：显示如下，这个fb与nvidia-smi查询的内存占用数量是一样的，具体如下图，

缺点：1、最小粒度为秒，不能更细粒度显示 2、没有找到gpu利用率的参数，不能完全满足监控的需要

 3、nvidia-smi dmon其他参数解释

    指定显示哪些监控指标（默认为puc），其中：
        p：电源使用情况和温度（pwr：功耗，temp：温度）
        u：GPU使用率（sm：流处理器，mem：显存，enc：编码资源，dec：解码资源）
        c：GPU处理器和GPU内存时钟频率（mclk：显存频率，pclk：处理器频率）
        v：电源和热力异常
        m：FB内存和Bar1内存
        e：ECC错误和PCIe重显错误个数
        t：PCIe读写带宽

4、nvidia-smi -a 查看所有参数的情况，执行结果如下：

 5、nvidia-smi -l 按秒刷新追加显示