服务器配置
Ubantu 20.04安装
英伟达驱动安装
远程连接(ssh、VNC)
CUDA安装
CuDNN安装
Anaconda安装
Pytorch安装
Ubantu 20.04桌面版安装
下载镜像(iso)文件:
下载网址:https://releases.ubuntu.com/20.04.4/
下载制作工具Rufus:
下载网址:http://rufus.ie/zh/
制作启动盘:
将制作好的启动盘插入电脑后,开机,按F11(或F10按主板型号选择)进入引导界面,然后按F11进入Boot Manager引导管理器,按回车,进入Boot Manager Main Menu界面
然后选择One-shot UEFI Boot Menu 一键UEFI启动菜单
接着选择自己制作好的系统引导优盘,即可进入安装程序。
进入安装程序后,选择Install Ubuntu, 回车直接安装
不要汉化
选择English
然后是键盘布局。同样选择English
如果有服务器配置经验,选择“最小安装”在进行其他配置时,缺少的东西,自己安装
如果是小白,建议选择“正常安装”,这样比较省事。
接下来到了最重要的一步
如果安装双系统建议选择“其他选项”,进行安装
只安装Ubantu系统,也建议选择“其他选项”进行安装。
“清理整个磁盘并安装Ubantu”,是系统自动清除所有的东西,然后安装Ubantu。但是这样可能遇到一个问题,那就是系统没有把Windows里的东西清除干净,可能会留下Windows的引导文件,这样的话,在每次开机时,系统都会让人工选择进入Windows或者Ubantu,比较麻烦。并且在Windows里分的卷也会保留。
分区:
先把之前系统的分区全删掉,这样操作之后,系统就会把内存自动的分为一个1TB的固态硬盘和一个4TB的机械硬盘。
选择1TB的固态硬盘,点击“空闲”、点击“+”、大小:“64*1024MB=65536MB”、选择“逻辑分区”选择“逻辑起始位置”、用于:“交换空间”(换到Windows里面相当于运行内存)
选择1TB的固态硬盘,点击“空闲”、点击“+”、大小:“1024”、选择“主分区”、选择“空间起始位置”,用于:选择“EFI系统分区”(就是Ubantu的引导启动文件)
选择1TB的固态硬盘,点击“空闲”、点击“+”、大小:“剩多少选多少”、选择“主分区”、选择空间起始位置、用于:选择“Ext4日志文件系统”、挂载点:选择“/”(相当于根目录,这样一分,/home、/usr等就相当于里面的一个文件)
点击“现在安装”、再点击继续、
机械硬盘等系统装好后再分也可以。不分卷,不能用
进入系统后,在设置:磁盘(disk)位置、选择4.0TB Hard Disk、点击“+”、分区大小:选择“4001GB(即全部)”、后面的可用空间:选择“0”GB
点击“下一步”
卷名:“自己起名”、类型:选择“只用于Linux系统的内部磁盘(Ext4)(l)”
点击“创建”即可。
时区选择上海
最后是输入电脑的用户名、电脑名称和密码
user@hostname:~$:
您的姓名:这个好像没啥用
您的计算机名:即为hostname(建议短一点)
选择一个用户:即为user
密码:该user的密码
使用这种方法创建的user具有管理员权限
然后安装程序会安装一些必要的系统软件
重启
拔掉U盘
系统安装好了之后,(如果汉化)先在设置->区域与语言 ->管理已安装语言->汉语->应用到整个系统。更改语言
设置->显示器->分辨率->1920*1080(16:9)
设置->关于 ->图形 (看是否装了NVIDIA的驱动)
软件与更新->附加驱动->选择一个合适版本的英伟达驱动(一部分时英伟达提供(带NVIDIA Server),一部分是ubantu提供)->应用更改
换源:软件与更新->下载自->阿里云->更新->sudo apt-ged update
远程连接
先换源(阿里云用的比较多)
SSH
首先安装SSH
sudo apt install ssh
安装完之后,需要安装net-tools,用来查看ip地址(也可在桌面的的网络连接处查看)
sudo apt install net-tools
ifconfig
安装完之后,就可以在另一台电脑上ssh远程连接了,使用windows自带的Windows PowerShell即可
连接形式为:ssh user@ip
登录密码为用户密码
(当不知道服务器是否开机时,使用ping IP地址,例如:ping 172.17.27.173,若能接收到回复的信息,说明服务器开机并且运行正常)
VNC安装
安装桌面插件和vnc(安装前最好换源,不然又得文件无法下载成功,下载不成功就无法使用VNC连接)
sudo apt-get install -y gnome-session-flashback
sudo apt-get install -y tigervnc-standalone-server
配置VNC启动文件
先备份文件
mv ~/.vnc/xstartup ~/.vnc/xstartup.bak
nano ~/.vnc/xstartup
xstartup文件修改如下:
#!/bin/sh
unset SESSION_MANAGER
unset DBUS_SESSION_BUS_ADDRESS
export XKL_XMODMAP_DISABLE=1
export XDG_CURRENT_DESKTOP="GNOME-Flashback:GNOME"
export XDG_MENU_PREFIX="gnome-flashback-"
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey #设置背景色
vncconfig -iconic & #
gnome-terminal & #连接后会直接打开一个terminal窗口
nautilus & #连接后会直接打开一个文件窗口
gnome-session --session=gnome-flashback-metacity --disable-acceleration-check &
修改完之后保存并退出
执行以下操作
# 赋予权限
chmod +x ~/.vnc/xstartup
#如果出现问题,可以进入日志看看有什么错误显示
sudo nano .vnc/server:1.log # 其中1是端口,开的那个端口看哪个
# 启动vnc
vncserver :1 -localhost no
后面的localhost是指不限本机登陆,1为桌面号,连接时需要在后面接上桌面号
在windows端安装上vnc-viewer,就可以连接了
在SSH处对VNC进行处理
启动VNC:vncserver :2 -geometry 1920x1080 -localhost no(谁开端口是谁的)
关闭VNC:vncserver -kill :2
CUDA和cuDNN安装
CUDA是GPU深度学习的运行库,那么cuDNN就是训练加速工具,两者要相互配合使用,
判断是否已安装CUDA:检查机器/usr/local目录下有没有cuda或cuda-xx.xx文件夹,如果没有,那99.99%说明该机器没有安装CUDA。不要相信nvidia-smi或nvcc --version指令看到的CUDA版本号,那只是代表当前英伟达驱动支持的最高版本的CUDA版本。
CUDA是前向兼容
检测是否安装NVIDIA显卡驱动
查看是否安装NVIDIA显卡
lspci | grep -i nvidia
查看显卡信息
nvidia-smi
如果出现这个样式,说明已经安装显卡驱动了。如果没有驱动,那么就需要手动安装显卡驱动。
(换源)
(sudo add-apt-repository ppa:graphics-drivers/ppa)
(sudo apt update)
检查可安装的驱动:
ubuntu-drivers devices
找到最适合的驱动安装,安装recommended标记的,通常也是数字版本最大的那个。
安装驱动
sudo apt install nvidia-driver-XXX
(最好不要使用:自动安装系统推荐)
如果没有遇到报错,说明安装成功,此时调用nvidia-smi指令可能还是看不到显卡信息,不要担心,重启系统之后就能看到了。
安装CUDA版本号不能高于nvidai-smi显示的版本
Ubuntu 20.04默认g++9版本太高,会导致CUDA无法安装,因此要先降低g++版本。
sudo apt-get install gcc-7 g++-7
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 1
sudo update-alternatives --display gcc
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 9
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-9 1
sudo update-alternatives --display g++
然后从官网下载对应的CUDA,除了刚刚提到的GPU支持最大CUDA版本外,还需要考虑Pytorch对应的CUDA版本,
https://developer.nvidia.com/cuda-toolkit-archive
有20.04的就用20.04的,没有就选最大的,一般是18.04。推荐用runfile安装,两句话很简单:
wget https://developer.download.nvidia.com/compute/cuda/11.2.2/local_installers/cuda_11.2.2_460.32.03_linux.run
sudo sh cuda_11.2.2_460.32.03_linux.run
第一句话是下载cuda_xxxx_linux.run脚本,第二句是执行脚本。
在弹出的安装界面中选“continue”,如果选了会跳出安装,就说明安装失败,给了失败日志的路径,自己查看原因,一般是gcc版本问题,上面提到过降级方法,不赘述。
在这一步输入accept
因为驱动已经安装,所以我们不需要安装驱动,选中“Driver”按空格,取消选择驱动安装。其他默认安装。[X]代表有,[ ]代表无。
成功后需要配置一下环境变量,
sudo vim ~/.bashrc
如果没有安装vim,则需要安装vim
最后一行增加
export PATH=/usr/local/cuda-10.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(特别注意文件夹路径,有时候文件夹直接是/usr/local/cuda,有时候是别的版本号,要确保文件夹存在。)
在写路径时:一些可能用到了Linux操作
(shift+: 输入命令
q 退出
w! 写文件
ctrl+s暂停
ctrl+q恢复 Esc+:wq 保存推出)
更新环境变量
source ~/.bashrc
检查一下CUDA是否安装正确:(文件及路径如上,做相应修改)
cat /usr/local/cuda/version.txt
安装cuDNN
官网下载地址:(需要注册账号)
https://developer.nvidia.com/cudnn
下载后解压(下载tar格式)
解压后执行以下操作
sudo cp cuda/include/cudnn.h /usr/local/cuda-10.1/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.1/lib64
sudo chmod a+r /usr/local/cuda-10.1/include/cudnn.h
sudo chmod a+r /usr/local/cuda-10.1/lib64/libcudnn*
(路径要做相应修改)
查看cuDNN版本方法:(注意路径问题)
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
或
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
两者都不显示,也不要紧,最新的cuDNN好像取消了查看版本的功能
安装Pytorch后查看CUDA、cuDNN的方法(建议使用)
python
import torch
# 若正常则静默
a = torch.tensor(1.)
# 若正常则静默
a.cuda()
# 若正常则返回 tensor(1., device='cuda:0')
from torch.backends import cudnn
# 若正常则静默
cudnn.is_available()
# 若正常则返回 True
cudnn.is_acceptable(a.cuda())
# 若正常则返回 True
Anaconda、Pytorch安装
按照该视频教程安装即可:(亲测可用)
https://www.bilibili.com/video/BV1rK4y1V7Pv?p=4&spm_id_from=pageDriver&vd_source=63ece0280fbf6a57e0ee5fcab6382ca6
进行远程复制的命令
复制服务器数据到本地电脑
scp [email protected]:/home/zmy/Desktop/water_dataset/yolov5-v6.0/README.md C:\Users\1\Desktop
复制本地数据到服务器
scp C:\Users\1\Desktop\WeChat_20221213212619.mp4 [email protected]:/home/luck/Desktop
scp -r [email protected]:/home/zmy/Desktop/water_dataset/yolov5-v6.0 C:\Users\1\Desktop