darknet_ros+yolo+realsenseD455+Ubuntu18.04+ROS

很想实现ros和yolo的联合使用，所以找到了darknet_ros这个包，我感觉难点不在于工程，而在于yolo的环境配置。本文将从环境入手逐步实现功能。

---

1.设备

相机：realsenseD455
笔记本：T440P
显卡：GT-730M
算力：3.0

2.环境安装

2.1 安装nvidia-smi

直接安装推荐版本就行，安装完需要重启，命令直接如下（如果使用nvidia-smi可以查看显卡信息，那就不需要接下来的操作）：

ubuntu-drivers devices
sudo ubuntu-drivers autoinstall
nvidia-smi
reboot

2.2 安装cuda

1.查看cuda版本，会发现第一个命令查到的比第二个命令版本要高，我的是一个11.4，一个9.x，需要对版本进行统一，并且需要根据显卡尽量往高了搞，不然可能会出现yolo版本不支持该显卡算力的情况。因此我们的目标就是安装一个cuda 11.4，让nvcc -V查出来的版本和nvidia-smi版本相同。

nvidia-smi
和
nvcc -V

2.安装（建议不要，下载会巨慢）：

wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run
sudo sh cuda_11.4.0_470.42.01_linux.run
vim ~/.bashrc
export PATH=$PATH:/usr/local/cuda-11.4/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.4/lib64
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda-11.4/lib64

参考链接：链接1，链接2

2.3 安装cudnn

1.下载：
到Nvidia官网找到对应cuda版本的cudnn版本，这里需要的就是第二个“cuDNN Library for Linux (x86_64)”。

2.安装
解压上一步的压缩包，然后复制到系统环境里，并赋予权限。

tar -zxvf xxxxxxx.tgz
sudo cp -rf cuda/include/cudnn* /usr/local/cuda-11.4/include/
sudo cp -rf cuda/lib64/libcudnn* /usr/local/cuda-11.4/lib64/
sudo chmod a+r /usr/local/cuda-11.4/include/cudnn*
sudo chmod a+r /usr/local/cuda-11.4/lib64/libcudnn*

3.测试
输入命令，显示如下安装成功：

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

参考链接：链接1，链接2

2.4 安装annconda

1.下载
Anaconda3-2022.05-Linux-x86_64.sh
2.安装，一直回车/Yes

bash Anaconda3-2022.05-Linux-x86_64.sh

3.测试

# 查看版本
conda --version
conda list
# 环境列表
conda env list # 或 conda info --env

4.关闭base
在安装完成后之后会发现电脑用户名前面多了个(base)，这里解决anaconda安装后出现的(base)问题。
关闭：

conda config --set auto_activate_base false

开启：

conda config --set auto_activate_base true

参考链接：链接1，链接2

2.5 安装realsense

这个网上很多教程，这里只列出关键的几个命令：

sudo add-apt-repository "deb https://librealsense.intel.com/Debian/apt-repo $(lsb_release -cs) main" -u
sudo apt-get install librealsense2-dkms
sudo apt-get install librealsense2-utils

参考链接：链接1，链接2，链接3，链接4

3.darknet_ros

3.1 下载

在工程里放入darknet_ros，下载链接：github

在工程里放入realsense-ros，下载链接：github

用catkin工具编译下。

3.2 启动摄像头

1.更新环境变量

source devel/setup.bash

2.启动

 roslaunch realsense2_camera rs_camera.launch

3.查看话题

rostopic list

4.图像的话题名称为：
/camera/color/image_raw

3.3完整启动

第一步：

 roslaunch realsense2_camera rs_camera.launch

第二步：

roslaunch darknet_ros darknet_ros.launch

3.4 GPU和CUDA加速

1.修改makefile文件

GPU=1
CUDNN=1
OPENCV=1
OPENMP=0
DEBUG=0

ARCH= 
      -gencode arch=compute_35,code=sm_35 \
      -gencode arch=compute_50,code=[sm_50,compute_50] \
      -gencode arch=compute_52,code=[sm_52,compute_52]
#      -gencode arch=compute_20,code=[sm_20,sm_21] \ This one is deprecated?

# This is what I use, uncomment if you know your arch and want to specify
# ARCH= -gencode arch=compute_52,code=compute_52

VPATH=./src/:./examples
SLIB=libdarknet.so
ALIB=libdarknet.a
EXEC=darknet
OBJDIR=./obj/

CC=gcc
CPP=g++
NVCC=/usr/local/cuda-11.4/bin/nvcc
AR=ar
ARFLAGS=rcs
OPTS=-Ofast
LDFLAGS= -lm -pthread 
COMMON= -Iinclude/ -Isrc/
CFLAGS=-Wall -Wno-unused-result -Wno-unknown-pragmas -Wfatal-errors -fPIC

ifeq ($(OPENMP), 1) 
CFLAGS+= -fopenmp
endif

ifeq ($(DEBUG), 1) 
OPTS=-O0 -g
endif

CFLAGS+=$(OPTS)

ifeq ($(OPENCV), 1) 
COMMON+= -DOPENCV
CFLAGS+= -DOPENCV
LDFLAGS+= `pkg-config --libs opencv` -lstdc++
COMMON+= `pkg-config --cflags opencv` 
endif

ifeq ($(GPU), 1) 
COMMON+= -DGPU -I/usr/local/cuda-11.4/include/
CFLAGS+= -DGPU
LDFLAGS+= -L/usr/local/cuda-11.4/lib64 -lcuda -lcudart -lcublas -lcurand
endif

ifeq ($(CUDNN), 1) 
COMMON+= -DCUDNN 
CFLAGS+= -DCUDNN
LDFLAGS+= -lcudnn
endif

OBJ=gemm.o utils.o cuda.o deconvolutional_layer.o convolutional_layer.o list.o image.o activations.o im2col.o col2im.o blas.o crop_layer.o dropout_layer.o maxpool_layer.o softmax_layer.o data.o matrix.o network.o connected_layer.o cost_layer.o parser.o option_list.o detection_layer.o route_layer.o upsample_layer.o box.o normalization_layer.o avgpool_layer.o layer.o local_layer.o shortcut_layer.o logistic_layer.o activation_layer.o rnn_layer.o gru_layer.o crnn_layer.o demo.o batchnorm_layer.o region_layer.o reorg_layer.o tree.o  lstm_layer.o l2norm_layer.o yolo_layer.o iseg_layer.o image_opencv.o
EXECOBJA=captcha.o lsd.o super.o art.o tag.o cifar.o go.o rnn.o segmenter.o regressor.o classifier.o coco.o yolo.o detector.o nightmare.o instance-segmenter.o darknet.o
ifeq ($(GPU), 1) 
LDFLAGS+= -lstdc++ 
OBJ+=convolutional_kernels.o deconvolutional_kernels.o activation_kernels.o im2col_kernels.o col2im_kernels.o blas_kernels.o crop_layer_kernels.o dropout_layer_kernels.o maxpool_layer_kernels.o avgpool_layer_kernels.o
endif

EXECOBJ = $(addprefix $(OBJDIR), $(EXECOBJA))
OBJS = $(addprefix $(OBJDIR), $(OBJ))
DEPS = $(wildcard src/*.h) Makefile include/darknet.h

all: obj backup results $(SLIB) $(ALIB) $(EXEC)
#all: obj  results $(SLIB) $(ALIB) $(EXEC)


$(EXEC): $(EXECOBJ) $(ALIB)
	$(CC) $(COMMON) $(CFLAGS) $^ -o $@ $(LDFLAGS) $(ALIB)

$(ALIB): $(OBJS)
	$(AR) $(ARFLAGS) $@ $^

$(SLIB): $(OBJS)
	$(CC) $(CFLAGS) -shared $^ -o $@ $(LDFLAGS)

$(OBJDIR)%.o: %.cpp $(DEPS)
	$(CPP) $(COMMON) $(CFLAGS) -c $< -o $@

$(OBJDIR)%.o: %.c $(DEPS)
	$(CC) $(COMMON) $(CFLAGS) -c $< -o $@

$(OBJDIR)%.o: %.cu $(DEPS)
	$(NVCC) $(ARCH) $(COMMON) --compiler-options "$(CFLAGS)" -c $< -o $@

obj:
	mkdir -p obj
backup:
	mkdir -p backup
results:
	mkdir -p results

.PHONY: clean

clean:
	rm -rf $(OBJS) $(SLIB) $(ALIB) $(EXEC) $(EXECOBJ) $(OBJDIR)/*

2.修改CMakeLists.txt
这里按正常需要改成自己电脑的算力，不过对于我的而言该版本的CUDA不支持3.0的算力，删除了设置3.0的就可以解决。

完工！