SE5_基于YOLO3D的目标检测算法移植与测试

本文档适用于SOPHGO（算能）BM1684-SE5及对应通用云开发空间，主要内容：

注意：由于SOPHGO SE5微服务器的CPU是基于ARM架构，部分步骤将在基于x86架构CPU的开发环境中完成

1. 初始化开发环境(基于x86架构CPU的开发环境中完成)
2. YOLO3D目标检测算法
3. 模型转换 (基于x86架构CPU的开发环境中完成)
4. YOLO3D模型推理测试（处理后的YOLO3D项目文件将被拷贝至SOPHGO SE5微服务器上推理测试）

1. 初始化开发环境 (基于x86架构CPU的开发环境中完成)

1.1 初始化开发环境

(若wget后的地址不可用，请前往算能官网下载Docker镜像及SDK)

# 切换成 root 权限
sudo -i

# 下载Docker镜像
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/19/10/x86_sophonsdk_ubuntu18.04_py37_dev_22.06_docker.zip

# 确保环境安装unzip后解压
unzip x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker.zip

# 进入文件夹并加载Docker镜像
cd x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker
docker load -i x86_sophonsdk3_ubuntu18.04_py37_dev_22.06.docker

# 下载SOPHON SDK3.0.0
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/18/11/
sophonsdk_v3.0.0_20220716.zip

unzip sophonsdk_v3.0.0_20220716.zip
cd sophonsdk_v3.0.0_

# 通过脚本文件创建并进入Docker容器
# 若您没有执行前述关于docker命令免root执行的配置操作，需在命令前添加sudo
./docker_run_sophonsdk.sh

1.2 配置Docker容器开发环境

以下步骤均在Docker容器中进行：

1. 安装nntc以及配置环境变量

cd /workspace/scripts/ 
./install_lib.sh nntc 
# 设置环境变量-[有PCIe加速卡] 
source envsetup_pcie.sh 
# 设置环境变量-[无PCIe加速卡] 
source envsetup_cmodel.sh

导出的环境变量只对当前终端有效，每次进入容器都需要重新执行一遍，或者可以将这些环境变量写入~/.bashrc，这样每次登录将会自动设置环境变量

2. YOLO3D目标检测算法

文档：https://ruhyadi.github.io/project/computer-vision/yolo3d/

代码仓库链接：https://github.com/ruhyadi/YOLO3D](https://github.com/ultralytics/yolo3D

2.1 功能介绍

• 3D目标检测:给定图片和相机参数，检测图片中车辆、行人3D检测框，并将检测框显示在图片上返回。

2.2 应用场景

• 自动驾驶：车辆、行人的3D目标检测是自动驾驶感知算法的重要模块。自动驾驶系统依靠检测出的目标实现自主躲避障碍物、路径规划等功能。

2.3 特色优势

• 只需输入单张图片和对应的相机参数就能完成车辆、行人的3D检测，无需输入点云等其他模态数据。
• YOLO3D基于YOLOV5检测网络和ResNet网络回归，目前算能芯片对以上模型推理效果均有优化，推理速度快；另外工具链对以上模型都有完整支持，部署简单快捷。

3. Demo文件准备 (基于x86架构CPU的开发环境中完成)

3.1 准备模型与数据

3.1.1 Demo及相关文件准备

# 下载Demo及所需BModel
git clone xxx(待补充)
cd YOLO3D/data/models
pip3 install dfn
python3 -m dfn --url http://219.142.246.77:65000/sharing/2jQr4iVEx
python3 -m dfn --url http://219.142.246.77:65000/sharing/ljUxPxCeB

3.1.2 查看FP32 BModel的信息

命令：bm_model.bin --info xxxx.bmodel

# 查看模型信息
cd YOLO3D/data/models/
bm_model.bin --info resnet18.bmodel
bm_model.bin --info yolov5s.bmodel

resnet18.bmodel输出：

 yolov5s.bmodel输出：

 

4. YOLO3D模型部署测试（主要在SOPHGO SE5或云空间上进行）

4.1 SE5环境搭建及示例程序准备

将在处理好的YOLO3D项目文件,压缩后拷贝至SE5微服务器上:

scp -r /YOLO3D username@:

或通过云空间文件系统拷贝：

打开云空间文件系统：

 上传文件：

 文件会被存储在服务器的 /tmp 目录下

对于SoC模式，内部已经集成了相应的SDK运行库包，位于/system目录下，只需设置环境变量即可。

# 设置环境变量
export PATH=$PATH:/system/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/system/lib/:/system/usr/lib/aarch64-linux-gnu
export PYTHONPATH=$PYTHONPATH:/system/lib

测试样例图片为YOLO3D源码中的测试图片，可自行选用测试图片

4.2 Python例程部署测试

Python代码无需编译，对于SE5微服务器，可直接运行。

首先需要将PCIe云空间sdk中的sail库文件拷贝至SE5云空间，具体步骤如下：

在PCIe云空间中

cp -r /home/sophgo/bmnnsdk2-bm1684_v2.7.0/lib/sail/python3/soc/py37/sophon /tmp

再通过云空间文件系统从PCIe下载`sophon`并上传至SE5，然后替换SE5源目录/system/lib/sophon。  

mv /system/lib/sophon /system/lib/sophon.bak
mv /tmp/sophon /system/lib/sophon

测试步骤如下：

cd /python
python3 yolo3d.py

部分输出：

 测试结果：

# 将输出图片复制到云空间文件系统
cp result/output_demo1.jpg /tmp/

在云空间文件系统处将图片下载至本地查看：

 

5. 相关链接

样例开源仓库：https://github.com/sophon-ai-algo/examples

BM1684 BMNNSDK文档：https://developer.sophgo.com/site/index/document/6/all.html

编译工具用户开发手册： https://doc.sophgo.com/docs/2.7.0/docs_latest_release/nntc/html/index.html

量化工具用户开发手册： https://doc.sophgo.com/docs/2.7.0/docs_latest_release/calibration-tools/html/index.html

算能量化工具介绍及使用说明：https://www.bilibili.com/video/BV1DA4y1S75p?spm_id_from=333.999.0

官网视频教程：https://developer.sophgo.com/site/index/course/all/all.html

官网文档中心：https://developer.sophgo.com/site/index/document/all/all.html

官网下载中心：https://developer.sophgo.com/site/index/material/all/all.html

官网论坛：https://developer.sophgo.com/forum/view/43.html