模型训练速度 配置 （Speed Problem）

GPU 占用

并行运算
高性能运算

nvidia-smi

表格中会显示显卡的一些信息：
第一行是版本信息
第二行是标题栏
第三行就是具体的显卡信息

如果有多个显卡，会有多行，每一行的信息值对应标题栏对应位置的信息

GPU：编号
Fan：风扇转速，在0到100%之间变动，这里是42%
Name：显卡名，这里是TITAN X
Temp：显卡温度，这里是69摄氏度
Perf：性能状态，从P0到P12，P0性能最大，P12最小
Persistence-M：持续模式的状态开关，该模式耗能大，但是启动新GPU应用时比较快，这里是off
Pwr：能耗
Bus-Id：涉及GPU总线的东西
Disp.A：表示GPU的显示是否初始化
Memory-Usage：现存使用率，这里已经快满了
GPU-Util：GPU利用率
Compute M.：计算模式

显存占用率和GPU占用率是两个不一样的东西，类似于内存和CPU，两个指标的占用率不一定是互相对应的。

再下面就是每个进程使用的GPU情况了。

CPU占用

IO读写

内存占用

查看内存使用情况

free -m

or

Param.

Mem行（单位均为M）：

total：内存总数
used：已使用内存数
free：空闲内存数
shared：当前废弃不用
buffers：缓存内存数（Buffer）
cached：缓存内舒数（Page）

-/+ buffers/cache行：

（-buffers/cache）: 真正使用的内存数，指的是第一部分的 used - buffers - cached
（+buffers/cache）: 可用的内存数，指的是第一部分的 free + buffers + cached

Swap行:
指交换分区

实际上不要看free少就觉得内存不足了，buffers和cached都是可以在使用内存时拿来用的，应该以(-/+ buffers/cache)行的free和used来看。只要没发现swap的使用，就不用太担心，如果swap用了很多，那就要考虑增加物理内存了。

查看硬盘使用情况

df -hl

表格中每一行代表一个文件系统，各列意义如下：

Filesystem：文件系统
Size：硬盘大小
Used：已使用大小
Avail：可用大小
Use%：使用百分比
Mounted on：安装于哪个盘上

查看具体某个文件或者文件夹的大小

$ du -h --max-depth=1 filedir/
20G filedir

du命令可以查看文件或文件夹的磁盘使用空间，而-h参数的意思是使用GB、MB等易读的格式。如果不带–max-depth参数，那么将循环列出文件夹下所有文件和文件夹占用的空间，带此参数，则是指定深入目录的层数。

查看文件夹下所有文件的大小，可以使用*：

$ du -h --max-depth=1 filedir/*
1M xxx.xx
3M xxx.xx
2G xxx.xx

占用率

top -bn 1 -i -c

在第三行有显示CPU当前的使用情况。

top命令可以看到总体的系统运行状态和cpu的使用率

• %us：表示用户空间程序的cpu使用率（没有通过nice调度）
• %sy：表示系统空间的cpu使用率，主要是内核程序
• %ni：表示用户空间且通过nice调度过的程序的cpu使用率
• %id：空闲cpu
• %wa：cpu运行时在等待io的时间
• %hi：cpu处理硬中断的数量
• %si：cpu处理软中断的数量
• %st：被虚拟机偷走的cpu