AI算法创新赛-人车目标检测竞赛总结02
源码目录
--AI0000026/
--models/ #存放原始模型文件
--scripts/ #存放模型编译、量化所用到的命令脚本，标签格式转换的脚本。
--data/ #存放B榜数据集102张图片
--bmodel/ #存放编译或量化生成的xxx.bmodel
--test/ #存放执行推理的代码，会调用bmodel/中的xxx.bmodel，最终结果存放在result/中
--result/ #存放推理生成的结果，与提交到github上的文件一致。
--README.md #执行推理程序相关的说明，要求简洁、清楚，能够复现推理过程。
环境安装及操作步骤：
1)下载SDK软件包
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/08/15/09/bmnnsdk2_bm1684_v2.7.0_20220810patched.zip
2)解压缩SDK包
apt-get install unzip
unzip bmnnsdk2_bm1684_v2.7.0_20220810patched.zip
tar -zxvf bmnnsdk2-bm1684_v2.7.0.tar.gz
3)安装库
cd ./bmnnsdk2-bm1684_v2.7.0/scripts
./install_lib.sh nntc
4)设置环境变量
source envsetup_cmodel.sh
source envsetup_pcie.sh bmnetp
$$需要注意的是导出的环境变量只对当前终端有效，每次进入容器都需要重新执行一遍
5)安装sophon包
cd ./bmnnsdk2-bm1684_v2.7.0/lib/sail/python3/pcie/py37
pip3 install sophon-2.7.0-py3-none-any.whl
6)推理并保存结果
cd ../test
python3 yolov7_opencv_3output.py --bmodel ../bmodel/compilation.bmodel --input ../data/ --label label_name --conf 0.001
7)复制结果到result目录
cp -r output/yolov7_opencv_3output/bmodel/labels/ ../result/
数据分析
通过分析数据集的特点，我们可以发现，图片中的人和车有着不同的尺度和密度，如上图所示，同一目标和不同目标尺度都相差巨大。 由于卷积神经网络下采样作用，会使得原始图片上的区域在经过卷积后尺寸变小，特别是远距离的目标区域将会丢失特征，导致精度降低，因此有必要将不同尺度的特征图进行特征融合并进行分别预测，同时，为保证人车图片的推理效果，适当的增大图片尺寸，有利于提高检测效果，但计算量也会呈指数级增加，我们需要兼顾精度和速度。
基线选择和评价指标
YOLOV7是目前YOLO系列最先进的算法，在准确率和速度上超越了以往的YOLO系列。我们选择最新的YOLOv7进行图片的训练和验证，评测指标包括精度和速度两个方面。在精度方面，通过mean Average Precision(mAP)评估模型精度；在速度方面，通过模型推理时间i_time评估模型性能，i_time为数据集图片推理的平均时间，单位为ms。
最终得分计算公式为：score = mAP*100+(1000-i_time)*0.1
模型介绍
YOLOv7主要优点和创新点包括：
1、在训练中采用多种“免费”训练技巧，极大地提高了实时检测器的检测精度。其中“免费”指仅在训练过程中起作用，不增加推理过程时间消耗。
2、不同的特征融合方式和多尺度特征预测头可以提高模型对不同尺度的人车的精度。
3、提出了一种复合放缩的方法来更有效地利用实时检测器的参数和计算量，提高推理速度。
4、YOLOv7比当前最优模型参数量小，计算量少，拥有更快的推理速度和更高的检测精度。
模型网络结构
模型训练和验证
模型 |
Test Size |
mAP |
i_time |
yolov7-tiny |
640 |
66.8% |
2.2ms |
yolov7 |
640 |
77.4% |
2.9ms |
yolov7x |
640 |
77.3% |
4.0ms |
yolov7-e6e |
1280 |
81.7% |
15.7ms |
我们将官方给出的训练集划分出102张图片作为验证集，并采用不同版本的YOLOv7进行推理实验，如上表所示，yolov7算法在精度和推理速度达到较好的平衡，因此选择yolov7作为后续实验的推理模型。
基于TPU平台的移植开发
1.首先是研究官方提供demo的整体流程，从服务器环境、SDK环境到移植开发。
2.研究发现，在其他条件相同的条件下，图片大小的缩放会直接影响推理的精度和速度，一个好的缩放比例能够保证图片缩小的情况下，精度不降，但是如果调整的不好的话精度有可能会下降明显，我们可以尝试修改图片预处理时的图片大小。
3.除此之外，batch size和不同的前处理方法也会直接影响推理的速度（包括3output和1output，python版的bmcv_3output，opencv_3output和pytorch，python推理方式和C++推理方式）
4.量化工具其他改进策略和参数
推理优化部分（图片大小的缩放及模型预测前处理部分）
通过缩放图片大小，查看mAP和FPS的变化，随着YOLO模型复杂度和图片尺寸的增加，score逐渐降低，并且前处理Python版OpenCV比BMVC和Pytorch要快,且INT8综合分数通常低于FP32。
从下表可以看出，最佳的成绩预处理设置图片尺寸640*640是效果最好的，故选择YOLOv7算法，模型输入大小固定为640*640，Batch Size固定为1，FP32 BModel模型推理作为最终方案。
model |
img_size |
mAP0.5 |
i_time(FP32_opencv) |
i_time(FP32_bmvc) |
yolov7 |
640 |
0.774 |
102 |
114 |
|
768 |
0.788 |
146 |
230 |
|
800 |
0.79 |
160 |
- |
yolov7x |
640 |
0.773 |
159.4 |
170 |
|
864 |
0.797 |
|
|
|
960 |
0.805 |
|
|
yolov7e6e |
640 |
0.727 |
|
|
|
864 |
0.788 |
|
|
|
960 |
0.796 |
|
|
|
1280 |
0.817 |
633 |
|
遇到的问题
1.模型移植开发环境不熟悉，开发流程不熟练。
解决：查阅SDK开发文档，理解并实践。
2.在模型转换过程中遇到许多bug，如转换成int8model时会出现核心错误。
解决：认真查阅开发文档和资料，模型转换过程输入不匹配，需重新转换等；
总结与感悟
通过该比赛了解到模型落地的困难，认识到模型部署还是存在很大的研究价值，同时学习并使用了国产TPU进行量化和推理，了解了深度学习从模型训练、验证到量化、部署等一体化完整的过程，这锻炼了我的开发和解决问题的能力。比较遗憾的是，由于时间不足，没有对INT8量化造成较大精度损失原因进一步分析，也没有更加深入研究官方量化工具其他改进策略。希望日后能更加深入理解和使用TPU的量化工具，也感谢主办方和承办方等各单位提供本次竞赛的平台和资源，也感谢算能科技工作人员的热心解答，希望算能科技越发壮大，推动国内人工智能产业的发展。
AI算法创新赛：https://www.sophgo.com/competition/introduction.html?id=2