RK3588(自带NPU)的环境搭建和体验(一)

前言:这是本系列文章的第一篇,这里介绍一些必要的环境和工具,后面的文章不再介绍。

工具:i7-6700四核八线程、GTX960M显卡的渣渣笔记本(16G内存 + 512G固态 +1T机械)、Ubuntu18.04(VMware虚拟机安装,8G + 200G) 、一块RK3588S开发板,USB type-c线、12v电源线、一杯咖啡。

一、开发板简介

        rk3588是瑞芯微2022.3.4日发布的一款八核64位处理器,采用8nm,主频2.4GHZ, 集成ARM Mali-G610 MP4四核GPU,内置NPU(重点),可提供6Tops算力,最大支持32G内存。支持8K视频编解码,支持NVMe SSD固态扩展。如图(网上找到的图,侵删)

RK3588(自带NPU)的环境搭建和体验(一)_第1张图片

 对于本系列的博文来说,最重要的是自带的NPU。

RK3588(自带NPU)的环境搭建和体验(一)_第2张图片

详细数据可以去官网查看。

二、安装开发环境

        环境安装的比较多,主要是python相关的依赖包和RKNN-Toolkit2.

1. 安装python3.6和pip3

sudo apt-get install python3 python3-dev python3-pip

2. 安装依赖

sudo apt-get install libxslt1-dev zlib1g zlib1g-dev libglib2.0-0 libsm6 \
libgl1-mesa-glx libprotobuf-dev gcc

3.安装RKNN-Toolkit2安装包

        1)安装python依赖(安装之前最好更新下pip3,我后面遇到了问题就是更新之后才解决的,下面的博文中谈到)

numpy==1.16.6
onnx==1.7.0
onnxoptimizer==0.1.0
onnxruntime==1.6.0
tensorflow==1.14.0
tensorboard==1.14.0
protobuf==3.12.0
torch==1.6.0
torchvision==0.7.0
psutil==5.6.2
ruamel.yaml==0.15.81
scipy==1.2.1
tqdm==4.27.0
requests==2.21.0
opencv-python==4.4.0.46
PuLP==2.4
scikit_image==0.17.2
bfloat16==1.1
flatbuffers==1.12

        2)安装RKNN-Toolkit2

sudo pip3 install rknn_toolkit2-1.3.0_11912b58-cp36-cp36m-linux_x86_64.whl

        3)检查RKNN-Toolkit2是否安装成功

        RK3588(自带NPU)的环境搭建和体验(一)_第3张图片

                 已安装成功。

三、在rk3588s上测试
    

        测试rk3588s,需要使用usb线连接开发板和电脑,之后通过adb进行操作。


1. 查看设备

 可以看到设备ID为ff3c685cc52f4821,这个ID在python脚本里面设置NPU时用到。

2. 更新板子的rknn_server 和librknnrt.so

librknnrt.so: 是一个板端的runtime 库。
rknn_server: 是一个运行在板子上的后台代理服务,用于接收PC 通过USB 传输过来的协议,
然后执行板端runtime 对应的接口,并返回结果给PC。

这两个文件只需要更新一次。之后直接连接usb线,在python里面配置就行。

adb root
adb remount
adb push \
rknn_server \
/vendor/bin/
adb push \
librknnrt.so /vendor/lib64/
adb shell
chmod +x /vendor/bin/rknn_server
sync
reboot	

3. 使用脚本进行测试
    

到这里,环境已经配置好了,下面使用自带的YOLOV5算法进行测试。
 

  python3.6 test.py

输出的日志比较多,大概就是,先初始化RKNN的环境,连接NPU,将yolov5生成的模型(onnx类型的文件)转化为rknn模型(瑞芯微NPU专用的模型文件),进行识别,将结果写入到图片中。

这里只截取其中一部分输出结果进行说明。

1)连接NPU

RK3588(自带NPU)的环境搭建和体验(一)_第4张图片

这一部分可以看到芯片的型号,通过adb连接rk3588。能成功连接。

 2)识别结果

RK3588(自带NPU)的环境搭建和体验(一)_第5张图片

这一部分时将识别出来的结果输出出来,就是识别的目标类别、坐标、尺寸、概率大小等。

3)结果图像

将结果图像通过fim打开,可以看到,已经在图像上进行标注了。

 四、安装环境是遇到问题

1. protobuf requires Python '>=3.7' but the running Python is 3.6.9

 解决办法:更新pip之后重新安装tensorflow

更新指令:python3.6 -m pip install --upgrade pip3

2.No matching distribution found for onnxruntime==1.6.0

 原因:onnxruntime找不到版本,可以去网上下载一个。

安装:pip3 install onnxruntime-1.6.0-cp36-cp36m-linux_x86_64.whl

名字要将manylinx2014改成linux

我用的是这个版本,链接:

 onnxruntime · PyPI

3. No matching distribution found for skbuild

 解决办法:pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-build

4. adb root失败

 原因:root未启动。

解决: 执行命令adb shell setprop persist.sys.root_access 3 ,再使用adb root

五、总结

        环境的安装还算可以,按照资料里面走基本都能正常安装。晚上测试了一下,使用SSD算法转化的rknn模块,直接加载,进行推理(只有推理,NPU还可以训练、转化模型等),大概需要40ms左右。这是第一次使用NPU进行操作,可能出错,不一定对,也没有对芯片的主频进行固定,后面测试的时候,学习下怎么固定频率进行测试。后面还要继续学习。

RK3588(自带NPU)的环境搭建和体验(一)_第6张图片

你可能感兴趣的:(边缘计算,目标检测,ai,linux,边缘计算)