科普
- gcc/g++: - GNU project C and C++ compiler.When you compile C++ programs, you should invoke GCC as g++ instead.
- Cuda:GPU Accelerated Computing with C and C++
- PTX：线程并行计算
- NVIDIA-cuda其他：https://docs.nvidia.com/cuda/index.html
一、Ubuntu+cuda+cudnn+opencv+darknet/yolov3环境配置
1.NVIDIA显卡驱动安装
首先查看系统是否已经安装NVIDIA驱动，查看方式输入nvidia-smi无输出或系统信息没有显卡信息。
安装方式有ppa或官网下载驱动安装，再次之前可查看系统推荐驱动：
ubuntu-drivers devices
也可以在官网查看： https://www.geforce.cn/drivers
安装教程可参考这篇：https://blog.csdn.net/ghw15221836342/article/details/79571559网上大部分教程提示需要禁用nouveau，本人亲测关掉图形界面就可以，不需要禁用。
安装成功：nvidia-smi显示显卡信息，或系统信息有显卡graphics这栏,如下：
2.gcc降版本
cuda支持gcc/g++版本需要在6.0以下。******降版本需要注意删除原来连接
参考：https://blog.csdn.net/csdn_zhishui/article/details/83751120
3.安装cuda
查看显卡支持cuda版本
windows:（参考：https://blog.csdn.net/wangyjfrecky/article/details/55100963）
控制面板->搜索NVIDIA->双击进入NVIDIA控制面板：
点击帮助->系统信息->组件
UBUNTU：参考（ http://www.voidcn.com/article/p-ujjgjaae-xp.html）根据显卡型号选择
我选择cuda9.0 cuda9.0【 点这下载】
根据自己的系统选择，但必须选择runfile,因为之前已经安装过驱动，其他包会重复安装。可能导致循环登录。安装参考官网命令：
首先是协议，按enter到100%，是否安装驱动选择no，其他默认或自定。
InstallNVIDIA Accelerated GraphicsDriver for Linux-x86_64 384.81?
此处选择no
此处需要安装四个打包文件patch，命令同上，安装后在根目录/usr/local下会有cuda-9.0和cuda两个文件夹。
若系统自带驱动符合要求，可以直接跳过驱动安装：
【deb包安装教程】
配置环境变量：
打开~/.bashrc文件，在末尾加入：
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
***此处需要测试nvcc命令，若提示没有安装并建议安装nvidia-cuda-toolkit,可以重启电脑再试，run包安装时有选择cuda-toolkit安装，若重复安装，nvidia-cuda-toolkit自带415驱动，可能导致循环登录。正常安装后，nvcc输出：
具体可参考这篇博客： https://blog.csdn.net/jiangyanting2011/article/details/78873113
3.cudnn安装
cudnn安装比较简单，需注意和cuda版本匹配【下载地址】
注册登录后下载
同参考这篇博客安装方式：https://blog.csdn.net/jiangyanting2011/article/details/78873113
4.opencv NVIDIA cuda版本编译安装
cuda9.0支持opencv3.4.0及之前的版本，opencv官网下载opencv，我选择3.4.0，
【opencv各个版本下载地址】
下载解压后进入目录 cd opencv-3.4.0
安装cmake 等一系列依赖包
$ sudo apt-get install build-essential
$ sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
$ sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev # 处理图像所需的包
$ sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev liblapacke-dev
$ sudo apt-get install libxvidcore-dev libx264-dev # 处理视频所需的包
$ sudo apt-get install libatlas-base-dev gfortran # 优化opencv功能
$ sudo apt-get install ffmpeg
创建新文件夹来编译，否则会报错 ，进入目录
sudo mkdir build
cd build
编译 （无cuda版本可按网上教程来，此处为cuda版本）
$ cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-3.4.0/modules \#若出错或无可去掉
-D PYTHON_EXCUTABLE=/usr/bin/python3\ #根据自己的Python版本确定，默认则安装到2.7版本
-D WITH_CUDA=ON \ #使用CUDA
-D WITH_TBB=ON \
-D BUILD_NEW_PYTHON_SUPPORT=ON \
-D WITH_V4L=ON \
-D WITH_GTK=ON \ #不加ubuntu cmake可能会报错
-D WITH_OPENGL=ON \
-D WITH_CUBLAS=ON \
-D DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" \
-D CUDA_ARCH_BIN="6.1" \ # [GPU计算能力](https://developer.nvidia.com/cuda-gpus)
-D CUDA_ARCH_PTX="" \ #线程并行计算`
-D BUILD_EXAMPLES=ON \
-D CUDA_GENERATION=Pascal .. #自己显卡架构
完成后lscpu 查看电脑CPU核数
我的总共为4，接下来：
sudo make -j4
完成后安装
sudo make install
测试，无报错则安装成功
xiaose@lenovo:~$ python3
Python 3.6.7 (default, Oct 22 2018, 11:32:17)
[GCC 8.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2
>>>
提示找不到cv2模块，安装
sudo apt-get install python3-opencv
重新编译报错解决：删除build同级目录下cache文件
5.darknet/yolov3 编译
YOLOv3官网【下载】
打开Makefile，更改参数，根据自己环境修改参数
GPU=1
CUDNN=1
OPENCV=1
OPENMP=0
DEBUG=0
由于使用Pascal架构，需要在架构上加-gencode arch=compute_61,code=[sm_61,compute_61]
ARCH= -gencode arch=compute_30,code=sm_30 \
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=[sm_50,compute_50] \
-gencode arch=compute_52,code=[sm_52,compute_52] \
-gencode arch=compute_61,code=[sm_61,compute_61]
修改nvcc路径，根据自己修改
NVCC=/usr/local/cuda-9.0/bin/nvcc
COMMON+，LDFLAGS+路径可为默认cuda或改为cuda-9.0
ifeq ($(GPU), 1)
COMMON+= -DGPU -I/usr/local/cuda-9.0/include/
CFLAGS+= -DGPU
LDFLAGS+= -L/usr/local/cuda-9.0/lib64 -lcuda -lcudart -lcublas -lcurand
endif
修改完成后保存，执行
sudo make
若更改参数，重新编译 make clean 后make
测试，darknet目录下 ./darknet出现下图，编译成功
$ ./darknet
usage: ./darknet
二、训练技巧、问题及解决办法：
1.xml标注文件转txt
可参考darknet源码scripts/voc_labels.py文件
2.更改测试label，box线条粗细及标签大小
image.c文件
3.训练图片集路径问题
原作者是将txt文件生成训练集路径
实测：将目录下图像生训练集路径文件train_image_path.txt，并将txt文件放到图片目录下一一对应
4. .cfg文件修改
batch=64
subdivisions=16
batch,subdivisions根据自己显存大小修改，并且batch/subdivisions最好为自己GPU数量的整数倍
learning_rate=0.001
burn_in=1000
多GPU训练时：learning_rate=0.001/gpus burn_in=1000*gpus 对于YOLO层
[convolutional]
size=1
stride=1
pad=1
filters=42
activation=linear
[yolo]
mask = 0,1,2
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
classes=9
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1
classes根据自己检测类别数更改，对应上一层卷积层filters=3×（5+num[classes])
anchors可以根据自己的样本聚类得到
5.cannot fopen ***.jpg/txt
检查对应训练集路径
6.cuda error: out of memory
改小batch/增大sudbivisions，或者关闭多尺度训练random=0
7.darknet: ./src/cuda.c:36: check_error: Assertion `0' failed.
（1）有out of memory错误：检查是否有图像读取错误或同6
（2）无out of memory 错误：Makefile中arch架构与自己显卡架构不匹配，参照安装方法重新编译。
一般来说，也可能是类别数和yolo层filters不匹配
8.训练开始一段时间后出现loss=nan 、IOU=nan ,其他参数全为0的情况
确保cfg文件是train模式，batch、subdivisions不全为1，查看自己训练集txt是否为空
若为多GPU训练，按上述设置参数，防止陷入局部极值点或loss及IOU计算错误。
9.obj和no obj同时下降
使用初始权重darknet53.conv.74或YOLOv3.weights训练时，由于与作者训练集样本结构不同，为 正常现象，若全降为0后不上升，出现大片nan和0，根据多GPU训练修改参数或将batch增大到128及以上
10.测试权重需要关闭训练
11.修改cfg文件不需要重新编译，修改源码需要重新编译
12.训练权重在训练的电脑上可以检测出目标，但换一台机器后无法检测出目标的问题
确保gcc/g++降版本的时候删掉了原来的连接，根据自己的显卡，选择相应的fermi/kepler/maxwell/pascal/turing架构，并根据计算能力选择arch=xx后重新编译
13. No input parameters supplied: Success darknet: ./src/utils.c:256: error: Assertion `0' failed.Aborted (core dumped)
首先加sudo权限，报错找不到libcudart.so.9.0，【解决办法】
若不能解决，则可能为darknet自身问题【参考】重新编译darknet
优化
根据官方参考文档
1. 在.cfg文件中设置random=1，可以增加检测精度。
2. 增加input图像尺寸，在.cfg文件中设置（height=608，heigh=608）以上，可以增加检测精度
3. 对.cfg文件中的anchors重新进行聚类
4. 确保数据集中所有的class都有对应的label，检测你的数据集可以使用https://github.com/AlexeyAB/Yolo_mark
5. 所使用的数据集包括同一物体在不同角度、光照、背景、大小下的图片，并且确保训练2000**classes个iterations以上。
6. 确保生成的txt文档不为空
其他详见官方参考文档
参考：
https://blog.csdn.net/ghw15221836342/article/details/79571559
https://blog.csdn.net/wangyjfrecky/article/details/55100963
https://blog.csdn.net/qq_35976351/article/details/79325476
https://blog.csdn.net/jiangyanting2011/article/details/78873113