服务器环境配置

服务器环境配置

目录

系统环境配置... 3

显卡驱动安装... 3

cuda配置... 5

安装cuda. 5

cuda多版本切换... 6

cudnn配置... 7

安装cudnn. 7

cuda、cudnn相关命令... 7

Anaconda配置... 8

安装anaconda. 8

conda相关命令... 9

深度学习框架安装... 10

conda安装pytorch. 10

安装caffe. 11

安装opencv. 11

安装caffe. 12

编译caffe的python接口... 13

其他tips. 14

配置pycharm桌面图标... 14

文件传输... 15

 

 

 

系统环境配置

显卡驱动安装

在不打开vnc桌面环境下（只开putty连接）安装比较简单，不用重启

禁止nouveau（禁止后NVIDIA才能正常安装）

1.  

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

1. 打开后发现该文件中没有任何内容，写入：

blacklist nouveau option nouveau modeset=0

1. 保存后关闭文件，执行命令使生效：

sudo update-initramfs –u

 

接下来安装显卡驱动，以下步骤也适合服务器驱动莫名掉的情况

1. 卸载原来的驱动程序：

sudo apt-get --purge remove nvidia*

1. 更新：

sudo add-apt-repository ppa:graphics-drivers/ppa      #需要输入密码并按enter键确认,之后刷新软件库并安装最新驱动

sudo apt-get update

1. 查看显卡适合的驱动程序版本，选择其中一个型号，可先看下边cuda版本对应的显卡驱动版本，按照需要的cuda版本选择显卡驱动型号：

ubuntu-drivers devices

1. 安装驱动

sudo apt-get install nvidia-384 nvidia-settings nvidia-prime # 384即为驱动型号版本

1. 测试是否安装成功：

nvidia-smi

 

 

 

cuda配置

安装cuda

cuda对应显卡驱动版本

进入 https://developer.nvidia.com/cuda-downloads，下载cuda安装文件

 

此时下载的 CUDA中包含有 nvidia 显卡驱动，在安装过程中选择不再安装 nvidia 显卡驱动

1. 执行安装命令（不使用vnc桌面环境安装）：

sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs  #替换为相应的文件名

执行此命令约1分钟后会出现 0%信息，此时长按回车键让此百分比增长，直到100%，然后按照提示操作即可。一定注意是否安装显卡驱动时选择n，其余正常情况选y

1. 建立软链接：

sudo ln -s /usr/local/cuda-8.0/ /usr/local/cuda/

1. 修改配置文件：

sudo gedit ~/.bashrc

1. 添加下边两行：

export PATH=/usr/local/cuda/bin:$PATH

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

1. 使配置生效：

source ~/.bashrc

1. 查看是否安装成功（出现pass就成功了）

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery

sudo make

./deviceQuery

1. 查看cuda版本：

nvcc -V

 

cuda多版本切换

同时安装了cuda9和cuda8等，将上步的cuda8切换到cuda9

sudo rm -rf /usr/local/cuda    #删除cuda8的软链接

sudo ln -s /usr/local/cuda-9.0/ /usr/local/cuda/

nvcc -V

 

 

cudnn配置

安装cudnn

官网下载cuda对应版本：https://developer.nvidia.com/rdp/cudnn-archive

1. 下载解压得到cudnn的文件夹（名为cuda）：

tar -xzvf cudnn-8.0-linux-x64-v6.tgz

1. 复制cudnn文件到cuda里：

sudo cp cuda/lib64/* /usr/local/cuda/lib64/

sudo cp cuda/include/* /usr/local/cuda/include/

1. 此时虽然装好了但之后配置caffe tf等还是可能会报错找不到cudnn，保险起见：

cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.6 #删除原有动态文件

sudo ln -s libcudnn.so.6.0.21 libcudnn.so.6 #生成软衔接，注意文件里具体的版本

sudo ln -s libcudnn.so.6 libcudnn.so #生成软链接

 

 

cuda、cudnn相关命令

nvidia-smi                              #查看显卡驱动版本及使用情况

nvcc –V          #或者nvcc –version    #查看cuda版本

which nvcc                              #查看cuda位置

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2   

#查看cudnn版本

 

 

Anaconda配置

安装anaconda

安装caffe、tensorflow、pytorch等深度学习框架都使用anaconda安装，可以安装不同版本，相互之间不影响

 

1. 下载anaconda安装文件，以安装3.5版本为例：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh  

其他版本可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/自行查找，使用清华源较快

sudo bash Anaconda3-5.0.0-Linux-x86_64.sh

按回车确定安装位置等信息

1. 添加国内源（例子是中科大源，可添加其他的）：

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/

conda config --set show_channel_urls yes

 

 

conda相关命令

conda update -n base conda           #update最新版本的conda

conda create -n xxxx python=3.7      #创建python3.5名为xxxx的虚拟环境

conda activate xxxx                   #开启xxxx环境

conda deactivate                      #关闭环境

conda env list                        #显示所有的虚拟环境

conda info --envs                     #显示所有的虚拟环境

conda remove –n xxxx --all           #删除某虚拟环境

conda remove --name huanjing_name bao_name        #删除环境中某个包

 

 

 

深度学习框架安装

conda安装pytorch

1. 创建名为pytorch-0.1，python版本为3.6的虚拟环境

conda create –n pytorch-1.0.1 python=3.6

1. 进入相应的虚拟环境中

conda activate pytorch-1.0.1  

1. 要安装较老的固定版本的话，最好先在虚拟环境中安装系统cuda版本对应的cuda toolkit，系统cuda——conda安装的cudatoolkit——pytorch版本 一定要对应：

conda install cudatoolkit==8.0

1. 安装固定版本pytorch：

conda install pytorch=1.0.1 torchvision=0.2.1

网上教程会在后边加上-c pytorch，这是从官方源下载很慢，去掉的话从国内源下载

 

 

 

 

安装caffe

未使用conda安装过，直接安装方法如下，修改的相关配置文件可参考/home/user/caffe/：

安装opencv

1. 安装依赖：

sudo apt-get update

sudo apt-get install libopencv-dev build-essential checkinstall cmake pkg-config                         #还有其他挺多的…具体可以看安装中提示

安装ffmpeg

sudo add-apt-repository ppa:jon-severinsson/ffmpeg

sudo apt-get update

sudo apt-get install ffmpeg

sudo apt-get install frei0r-plugins

1. 进入官网 : http://opencv.org/releases.html, 下载3.4.0版本
2. 进行编译安装：

cd opencv-3.4.0/

mkdir release

cd release

cmake -D CMAKE_BUILD_TYPE=RELEASE –D CMAKE_INSTALL_PREFIX=/usr/local ..

make –j8

sudo make install

1. 查看是否安装成功：

pkg-config --modversion opencv

 

安装caffe

1. 下载caffe官方版本：

git clone https://github.com/BVLC/caffe.git

1. 进入caffe文件夹，复制makefile.config.example文件，名为makefile.config:

cp Makefile.config.example Makefile.config

1. 修改makefile.config文件：

将 #USE_CUDNN := 1 修改成： 

USE_CUDNN := 1

将 #OPENCV_VERSION := 3 修改为： 

OPENCV_VERSION := 3

 

将 #WITH_PYTHON_LAYER := 1 修改为 

WITH_PYTHON_LAYER := 1

 

修改python路径：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 

修改为： 

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

根据下图，注释相关cuda_arch：

 

1. 修改Makefile文件：

将： NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)  

替换为：

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

将：LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5改为：

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

1. 执行编译：

make all –j8     #显示权限不够前面加sudo

make runtest –j8

编译caffe的python接口

1. 进入caffe根目录进行编译：

cd caffe

make pycaffe –j8

1. 验证是否编译成功：

python

import caffe

若显示 no module named caffe:

sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc

source ~/.bashrc

 

 

 

 

其他tips

配置pycharm桌面图标

1. 进入桌面文件夹：

cd ~/Desktop

1. 新建桌面图标文件

gedit Pycharm.desktop

1. 写入以下内容后保存：

[Desktop Entry]

Type=Application

Name=Pycharm

Icon=/home/user/pycharm-2019.2/bin/pycharm.png #改为相应安装位置

Exec=/home/user/pycharm-2019.2/bin/pycharm.sh

MimeType=application/x-py;

Name[en_US]=pycharm

1. 右键上述文件-属性-权限：允许此文件作为程序运行