VSCode+Docker(远程服务器)配置自定义开发环境

VSCode+Docker(远程服务器)配置自定义开发环境

前言

在实验室经常遇到共用服务器和复现不同环境代码的问题，通过VSCode+Docker可以自定义配制环境，方便复现程序，管理环境。下面的方法是我常用的，大家可以根据自己的习惯和情况自行调整。

1.Docker

1.1 通过Dockerfile建立镜像

  Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。
  个人习惯使用直接拉取Docker Hub上TensorFlow、Pytorch、Keras等官方发布的镜像。如果需要在GPU上复现不同框架和版本的程序，用Docker可以有效避免各种cuda，cudnn版本不同和安装问题带来的麻烦。
  如果需要在 Linux 上启用 GPU 支持，需要先安装nvidia-container-runtime，然后再Docker Hub上找到需要拉取的镜像，然后利用Dockerfile安装需要的包。例如创建一个Tensorflow-GPU2.0版本，python环境为python3的镜像，安装一些需要的软件和包，并添加清华镜像源，可建一个文件夹，并新建名为Dockerfile的文件，在文件夹中复制如下内容：

FROM tensorflow/tensorflow:2.0.0rc0-gpu-py3

RUN apt update && \ 
    apt install -y gcc python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev g++ git fish cmake build-essential vim htop openssh-server tree tmux bedtools 
RUN pip install pip -U && \ 
    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple && \
    pip install numpy pandas scikit-learn scikit-image matplotlib tqdm

  进入文件夹，运行下面的命令建立需要的镜像（一定不要忘记最后的.）,nicole/tensorflow2.0是镜像的REPOSITORY，其中nicole改成自己docker的username,后面是image的标识，这样可以方便push镜像到自己的Docker Hub：

docker image build -t nicole/tensorflow2.0 .

  等待一段时间，如果显示成功，则可以通过docker images命令查看成功建立的镜像。

1.2 实例化Docker容器

  容器和镜像的关系，像程序设计中的实例和类一样，镜像是静态的定义，容器是镜像运行时的实体。 容器可以被创建、启动、停止、删除、暂停等。 一个镜像可以启动多个容器。 应用可以包含一个或一组容器。听过如下代码实例化容器：

docker  run -dit --mount type=bind,source=/home/nicole,target=/workspace --name mytensorflow -p 7778:22 -p 7788:7788 --ipc host --runtime=nvidia nicole/tensorflow2.0

• -p 表示对端口号进行映射，即将 docker 容器的 22 号端口映射到宿主机的 7778 端口，这样设置的目的是方便后续使用 VSCode 连接容器，可以根据需要进行设置,7788:7788是相同的，将 docker 容器的 7788号端口映射到宿主机的 7788 端口，可用来链接jupyter等，做其他用途

• --name 是将容器命名为 mytensorflow，如果不指定名称则会随机名称

• --runtime=nvidia是使docker容器能调用本地的gpu，在首次运行时添加—runtime=nvidia参数，后续启动、结束都不需要再加。

• --mount type=bind,source=/home/nicole,target=/workspace是将宿主机的 ~/home/nicole 目录映射到容器的 /workspace目录，方便主机和宿主机间共享数据。

    docker 容器启动后可以使用exit退出，而如果使用 -d 模式的话会将 docker 放在后台，此时可以通过 docker attach mytensorflow进入容器。停止容器后，docker start mytensorflow启动容器。相比attach个人比较推荐docker exec -it mytensorflow /bin/bash的方式进入容器。docker ps -a可以查看所有容器。

1.3 Docker容器系统配置

  我采用的是配置ssh，通过ssh连接暴露端口的方式，通过VSCode远程连接。不过很多人都不赞成这种方式，VSCode有一些插件如Remote-Containers等进行远程连接，需要添加插件并做一些系统配置,可以参考官方文档Attach to a running container。
  命令行输入passwd，修改root密码。通过命令

sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

修改ssh设置为通过密码登录。接下来service ssh start启动ssh服务，service ssh status确认服务开启成功。

2.VSCode

2.1 VSCode配置

  VSCode 的 Remote - SSH 配置可以参考官方文档Remote development over SSH,安装Remote - SSH插件，安装完成后可在左下角看到：
[图片上传失败...(image-9db9ea-1639384705758)]
  打开当前电脑cmd，通过命令ssh -p 7777 -N -L 127.0.0.1:8022:127.0.0.1:8022 [email protected]连接服务器，7777是服务器开放端口，[email protected]是服务器的用户名和ip，127.0.0.1:8022:127.0.0.1:8022将本地服务器和Docker容器暴露端口映射。如果该命令成功，则说明已经可以通过ssh在本地远程访问服务器的Docker容器。如果不成功，可以分别在服务器通过服务器连接容器命令ssh -p 8022 [email protected]和在本地通过本地连接服务器命令ssh -p 7777 [email protected]来验证是哪部分的问题。

2.2 VSCode访问Docker容器

  点击VSCode绿色的按钮修改设置，选择Open Configuration File，选择本地的设置，插入配置,并保存。

Host Docker_tensorflow2
    HostName 127.0.0.1
    User root
    Port 8022

点击绿色按钮，选择Connect to Host，选择Docker_tensorflow2，输入密码成功连接到容器，打开工作文件夹便可以愉快的编程了。
[图片上传失败...(image-2e4d65-1639384705758)]

3.一些问题

• 当停止容器之后，再链接需要docker restart mytensorflow，然后开启ssh服务service ssh start。连接失败时也可以service ssh status检查一下服务是否开启成功。

• 端口映射命令ssh -p 7777 -N -L 127.0.0.1:8022:127.0.0.1:8022 [email protected]每次关闭都需要重新映射一次，当然也可以直接设置好，就不需要每次都开了。

• 直接使用Docker插件也可以访问容器中的文件，不过需要设置VSCode中的Python解释器路径和终端，才不会写代码过程中出现环境问题

• 一些docker常用命令

  docker images   #查看所有镜像
  docker ps -a    #查看所有容器
  docker commit -a "nicole" Tensorflow nicole1q/tensorflow    #容器生成镜像
  docker cp -a /home1/nicole/splicing/ esprnn:/home/   #复制数据到容器
  docker save > ubuntu.tar     #打包镜像，方便移植
  docker load < ubuntu.tar     #加载镜像
  docker push nicole1q/bioinfo      #push镜像到docker hub
  docker pull nicole1q/bioinfo      #pull镜像到本地