vscode分布式训练debug（记录贴）

• 有参数的debug

这个很容易做到，通过launch.json就可以解决。

1. 选择下图第四个
   标题
2. 新建launch.json
3. 主要是添加args

   {
         "version": "0.2.0",
         "configurations": [
               {
                     "name": "Python: Current File"
                     "type": "python",
                     "request": "launch",
                     "program": "${file}",
                     "console": "integratedTerminal",
                     "args": [
                           "arg1", "xxx",
                           "arg2", "xxx",
                      ]
               }
   } 

• 分布式训练debug
  这个相比只有参数的debug复杂了一点，但是也是只有launch.json的区别：

  {
      "version": "0.2.0",
      "configurations": [
  
            {
                  "name": "Python: Current File",
                  "type": "python",
                  "request": "launch",
                  "console": "integratedTerminal",
                  "args": [
                      "--nproc_per_node=2",
                      "main.py",
                  ],
                  "env": {"CUDA_VISIBLE_DEVICES":"0,1"},
      
                   "program": "/home/lucas/anaconda3/envs/py39-pt112-cu113/lib/python3.9/site-packages/torch/distributed/run.py",
            }
          ]
  }