yolov3的训练（二）cuda和cudnn
提出的问题
https://ask.csdn.net/questions/7771526
参考的教程
https://blog.csdn.net/zhaoxueqi666/article/details/120333153
##################################
同学们，这个系列的文件不要直接就跟着我操作了，因为这个是踩坑的记录，不是教程，我只是将整个流程记录下来，让后面的同学操作的时候能够避开这些坑，希望你能将整个系列的操作流程看了一遍斟酌后进行操作
##################################
根据在csdn和网上其他大神的指导
初次怀疑是机器的cuda和cudnn的版本过低
所以首先尝试对cuda和cudnn进行升级
其实图片这里反映了另一个重大的问题，只是当时眼挫没注意到，后面注意到了并修复
nvidia-smi
现阶段CUDA的版本是10.2
升级为11.1
进入到官网
https://developer.nvidia.com/cuda-downloads
选择对应的版本，然后选择runfile的下载方式，nvidia会给出命令行的下载方式
如果要选择其他版本的cuda，可以在页面下端选择
然后找到需要的版本，点击进去
执行nvidia给出的安装命令
wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda_11.1.0_455.23.05_linux.run
然后查看nouveau驱动
lsmod | grep nouveau
无输出则代表nouveau没有加载，有的话要禁用nouveau
Nouveau是由第三方为NVIDIA显卡开发的一个开源3D驱动，如果需要用nvidia自己的驱动的话就要先禁止
到下载cuda的位置，然后执行安装脚本
sudo sh cuda_11.1.0_455.23.05_linux.run
中间参考的文件
重装cuda报错“Error installing Cuda toolkit: Existing package manager installation of the driver found”
然后等待一下,可以先尝试直接选择continue，之后安装的时候不在装driver就好，顺利的话也可以直接成功安装，记得之后修改.bashrc文件
然后就是用户许可协议
在终端输入accept同意协议
由于我之前已经安装了Nvidia的显卡驱动，这里不安装driver，那么只需要移动到Driver，按enter键，将＂［］＂中的Ｘ去掉即是不选择．
然后移动到install回车即可
选择升级全部
然后选择yes
稍等片刻后，安装完成
然后添加环境变量
sudo gedit ~/.bashrc
将原本的cuda注释或删除
根据终端的提示，然后添加以下语句
export PATH=$PATH:/usr/local/cuda-11.1/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.1/lib64
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda-11.1/lib64
然后刷新环境变量，使其生效
sourec .bashrc
接着查看cuda的版本，可以看到环境变量已经生效
nvcc -V
中途参考的资料
cuda版本nvidia-smi和nvcc -V显示不同
然后查看GPU的使用情况
nvidia-smi
那么cuda安装完成了，接下来就安装cudnn
根据官网，和CUDA11.1配套的是CUDNN8.0.4
https://developer.nvidia.com/rdp/cudnn-archive#a-collapse804-111
进入到下载页面，nvidia要求下载cudnn需要登陆账号
然后查找
点击CUDNN8.0.4，进去有很多的版本
添加链接描述
如果不知道电脑的版本可以查看
uname -a
完成后会下载
由于网络比较卡，所以我是在Win10下载，然后使用filezilla发送过去
中途参考的资料
解压 .solitairetheme8 文件
然后下载的是.solitairetheme8类型的文件，需要转换成tgz然后解压
cd NVIDIA_CUDA-11.1_Samples/
cp cudnn-11.1-linux-x64-v8.0.4.30.solitairetheme8 cudnn-11.1-linux-x64-v8.0.4.30.tgz
tar -xvf cudnn-11.1-linux-x64-v8.0.4.30.tgz
解压之后得到一个cuda文件夹
将解压缩的文件放入对应cuda项目下，但是发现终端报错
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
终端报错，移动到路径，发现文件名称不一样
进行对应的修改，将将解压缩的文件放入对应cuda项目下
sudo cp cuda/include/cudnn.h /usr/local/cuda-11.1/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.1/lib64/
并设上只读权限
sudo chmod a+r /usr/local/cuda-11.1/include/cudnn.h
sudo chmod a+r /usr/local/cuda-11.1/lib64/libcudnn*
然后为了查看安装的版本号，可以将cudnn_version.h文件放到usr/local/cuda/include目录下
将 /home/heying/NVIDIA_CUDA-11.1_Samples/cuda/include/cudnn_version.h文件移动到/usr/local/cuda-11.1/include/路径下
sudo mv cudnn_version.h /usr/local/cuda-11.1/include
查看版本号，可以看到cudnn版本为8.0.4
cat /usr/local/cuda-11.1/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
在完成修改后对darknt进行编译
初步怀疑是版本不对应
首先将下载的cudnn的修改文件进行删除
然后重新下载一个
重新移动
sudo cp include/cudnn.h /usr/local/cuda/include/
sudo cp lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*
然后查看版本信息
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
没有输出
sudo cp include/cudnn_version.h /usr/local/cuda/include/
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
流程失败