大模型部署之GPU查询及切换

1、查询当前机器GPU使用情况

# 总览
nvidia-smi

# 每1s下的占用情况
watch -n 1 nvidia-smi

2、绑定gpu执行

# 方法1:设置CUDA_VISIBLE_DEVICES并直接执行
CUDA_VISIBLE_DEVICES=1,2 python train_demo.py

# 方法2: 编辑 train_demo.py 设置
import os 
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"  #（设置程序cuda序号与实际cuda序号对应）
os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"  #