指定训练使用的GPU个数，没有指定定gpu id，训练在其中两个gpu上执行，但是线程id分布在所有4个gpu上，为什么？如何解决？

目录

问题背景

1 线程id分布在所有gpu（包括未启用的gpu）上原因：

2 在解决这个问题时，可以采取以下步骤： 

3 修正深度学习框架默认使用所有可见 GPU 的问题

1 TensorFlow：

2 PyTorch：

3 Keras：

---

问题背景

       多GUP训练深度学习模型时指定训练使用的GPU个数，没有指定gpu id，训练在其中两个gpu上执行，但是线程id分布在所有4个gpu上，如下图

1 线程id分布在所有gpu（包括未启用的gpu）上原因：

1. 深度学习框架默认使用所有可见GPU： 一些深度学习框架在初始化时默认会使用所有可见的GPU。即使你在代码中明确指定了两个GPU，框架仍可能会在所有四个GPU上启动线程。这是一种默认行为，你需要通过框架的配置来明确指定使用的GPU。

2. 并行计算框架的默认设置： 如果你使用了并行计算框架（例如MPI），它们可能会默认使用所有可见的GPU。在这种情况下，需要查看并行框架的配置，确保只在指定的GPU上进行计算。

3. 未正确设置GPU环境变量： 确保你在代码执行之前正确设置了GPU环境变量。例如，在使用CUDA的情况下，使用 CUDA_VISIBLE_DEVICES 环境变量可以指定可见的GPU。

4. 查看代码中的设置： 检查你在代码中指定GPU的设置是否正确。有时候，代码中的设置可能被其他部分的配置或默认设置覆盖。

5. 检查框架版本和文档： 确保你使用的深度学习框架的版本是最新的，并查看框架的文档，以了解正确的GPU设置方式。

2 在解决这个问题时，可以采取以下步骤： 

• 在代码中正确设置 GPU 个数： 使用框架提供的设置来确保代码在指定数量的 GPU 上运行。有些框架提供了类似 torch.cuda.set_device 或 tf.config.experimental.set_visible_devices 的函数，允许你指定 GPU 的数量而不是具体的 GPU ID。

• 检查并行计算设置： 如果使用了并行计算框架，查看框架的文档，了解它是如何分配线程和任务的。

• 检查环境变量和配置文件： 查看环境变量和框架的配置文件，确保没有默认设置导致在所有 GPU 上启动线程。

• 查看代码中的其他设置： 检查代码中的其他设置，确保没有其他部分的配置或默认设置覆盖了你的 GPU 设置。

确保在调试和解决问题时，仔细查看相关的文档和配置信息，以确保代码按照你的预期方式运行。

 

3 修正深度学习框架默认使用所有可见 GPU 的问题

你需要在代码中明确指定使用的 GPU。具体的方法可能取决于你使用的深度学习框架。以下是一些常见框架的修正方法：

1 TensorFlow：

在 TensorFlow 中，可以使用 tf.config.experimental.set_visible_devices 来设置可见的 GPU 设备。同时，你可以使用 tf.config.experimental.set_memory_growth 来设置 GPU 内存的增长。以下是一个例子：

import tensorflow as tf

# 选择你要使用的 GPU
gpu_ids = [0, 1]  # 选择两个 GPU
tf.config.experimental.set_visible_devices(gpu_ids, 'GPU')

# 设置 GPU 内存增长
for gpu_id in gpu_ids:
    tf.config.experimental.set_memory_growth(tf.config.list_physical_devices('GPU')[gpu_id], True)

 这将确保 TensorFlow 只在指定的 GPU 上启动线程。

2 PyTorch：

在 PyTorch 中，可以使用 torch.cuda.set_device 来设置当前设备。以下是一个例子：

import torch

# 选择你要使用的 GPU
gpu_ids = [0, 1]  # 选择两个 GPU
torch.cuda.set_device(gpu_ids[0])  # 设置当前设备

# 在这之后，PyTorch 的操作将在指定的 GPU 上执行

这将确保 PyTorch 只在指定的 GPU 上启动线程。

3 Keras：

如果你使用 Keras，可以结合使用 TensorFlow 的配置来控制 GPU 的使用。以下是一个例子：

import tensorflow as tf
from keras import backend as K

# 选择你要使用的 GPU
gpu_ids = [0, 1]  # 选择两个 GPU
tf.config.experimental.set_visible_devices(gpu_ids, 'GPU')

# 设置 GPU 内存增长
for gpu_id in gpu_ids:
    tf.config.experimental.set_memory_growth(tf.config.list_physical_devices('GPU')[gpu_id], True)

# 设置 Keras 使用的后端为 TensorFlow
K.set_session(tf.compat.v1.Session())

 确保在设置 GPU 之前初始化框架的配置。这样，你就可以明确指定使用的 GPU，而不会默认使用所有可见的 GPU。