【全新开源项目】专为智能无人系统打造的边缘实时感知 SDK 库 SpireCV 正式上架

移动机器人的视觉感知系统，以往常用的是诸如OpenCV和一些深度学习的视觉库。然而这类大而全的视觉库，很少针对移动机器人进行优化(尤其是针对无人机)，也不会针对硬件进行相关的优化。

机器人尤其是无人机直接使用深度学习库会面临什么问题？

直接使用OpenCV、Pytorch等深度学习库部署到无人机平台存在很多问题，如无人机相关软硬件接口（吊舱、数据链、地面站、多机机间通讯） 难以统一，相关探测感知算法在性能与效率方面难以适应边缘机载计算机，导致无人机OODA中的感知与认知成为多数应用的瓶颈。

因此，有必要推进研发一套专为无人机和移动机器人设计的视觉感知与认知框架，形成一套用于无人机的视觉感知框架解决方案，打造出机器人视觉感知专用版OpenCV。

正是在这个特定的行业背景下，我们的 SpireCV 机器人视觉开源项目应运而生。

【全新开源项目】专为智能无人系统打造的边缘实时感知 SDK 库 SpireCV https://mp.weixin.qq.com/s?__biz=MzIwNzgxNzg0Mg==&mid=2247544685&idx=1&sn=2352672ecae97b5d6ca69ca8f7dc3e54&chksm=970ef270a0797b660ad1f2cb5da77d660f67e94fb19b2bd46d9f146727c300acdf86192212ea&token=1720543255&lang=zh_CN#rd

SpireCV是一个专为智能无人系统打造的边缘实时感知SDK库，主要功能包括相机/吊舱控制、视频保存与推流、目标探测识别与跟踪、边缘数据管理迭代等。旨在为移动机器人开发者提供高性能、高可靠、接口简洁、功能丰富的视觉感知能力，让开发者更加聚焦在具体的算法和算子的开发上。

Spire的英文是塔尖，顶尖的意思，CV是计算机视觉。我们希望SpireCV视觉感知库，能成为一流的移动机器人视觉库，提升机器人视觉开发者的开发效率。同时可以和众多的开发者一道实现机器智能。

对于移动机器人视觉算法开发者来说，以上的功能模块，都属于基础通用功能，在这些功能基础之上，加入视频处理算法模块，才构成一个完整的机器人视觉感知。这些通用功能，是视觉感知的基座。也是我们主要优化的事情，我们会持续的在编解码上，视频传输上进行优化，提升性能和兼容更多的外部接口，是这个项目的突出优势之一。节约了开发者的时间，提升了效率。

SpireCV项目地址：https://gitee.com/amovlab/SpireCV

项目优势：

1. 统一感知软硬件接口，提供现有demo和软件框架的技术支持；

2. 具备高性能、功能丰富、接口简洁的视觉感知能力；

3. 支持多平台部署。

标注工具集成

SpireView 自动化标注工具可以减少人工标注的成本和时间，从而降低整个深度学习项目的成本。这可以让更多的企业和组织参与深度学习项目，促进深度学习技术的发展和应用。

SpireView工具地址：https://gitee.com/amovlab1/spireview.git

视频算法模块：

二维码检测

起降标志检测

目标框选追踪

通用目标检测

椭圆检测

目标点击追踪

技术框架：

为了方便开发者对 SpireCV 开源项目进行交流，我们创建了官网论坛和开源项目微信群：

识别二维码加群

官网论坛：SpireCV问答 – – AmovLab阿木实验室-让机器人研发更高效！ – -

我们还特别推出了，基于该项目的视觉开发者套件硬件产品，高度适配该项目，进一步提升开发效率。

配置一：

Allsaprk 2-Orin NX 16G 内存版本，提供100TOPS算力，搭配 Amovlab 自研吊舱 G1，性能强劲，适用于各种无人系统感知场景，可以实现吊舱控制。

配置二：

Allsaprk 2-Orin Nano，提供40TOPS算力，性能满足多种使用场景，搭配 Amovlab 自研吊舱 G1，也可以实现吊舱控制。

配置三：

Allsaprk 2-Orin Nano，提供40TOPS算力，性能足以应付数使用场景，加上 200 万像素 USB 相机，可以实现大多数 SpireCV 提供的功能，是性价比之选。

性能参数

机载电脑	参数	参数
型号	Allspark 2-Orin NX 16G	Allspark 2-Orin Nano
核心模组	Nvidia Jetson Orin NX	Nvidia Jetson Orin Nano
AI 算力	100TOPS	40TOPS
显存	16GB LPDDR5	8GB LPDDR5
GPU	搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPU	搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPU
GPU 最大频率	918 MHz	625 MHz
CPU	8 核 Arm® Cortex®-A78AE v8.2 64 位 CPU 2MB L2 + 4MB L3	6 核 Arm® Cortex®-A78AE v8.2 64 位 CPU 2MB L2 + 4MB L3
CPU最大频率	2 GHz	1.5 GHz
DL加速器	2x NVDLA v2	-
DLA 最大频率	614 MHz	-
视觉加速器	1x PVA v2	-
视频编码	1x 4K60 (H.265) 3x 4K30 (H.265) 6x 1080p60 (H.265) 12x1080p30 (H.265)	1080p30 supported by 1-2 CPU cores
视频解码	1x 8K30 (H.265) 2x 4K60 (H.265) 4x 4K30 (H.265) 9x 1080p60 (H.265) 18x 1080p30 (H.265)	1x 4K60 (H.265) 2x 4K30 (H.265) 5x 1080p60 (H.265) 11x 1080p30 (H.265)
SSD	128GB(内置M.2接口，可扩展)	128GB(内置M.2接口，可扩展)
显示	Micro HDMI(1920*1080P)	Micro HDMI(1920*1080P)
相机接口	MIPI CSI x2	MIPI CSI x2

吊舱	参数
型号	G1
有效像素	1130 万
传感器尺寸	1/2.49"
像素点尺寸	1.4*1.4μm
视频格式	H.264
视频分辨率	4K@24/25/30fps 2.7K@24/25/30/48/50/60fps 1080P@24/25/30/48/50/60/120fps 720P@24/25/30/48/50/60/120/240fps（推荐）
光圈（F/No.)	2.0
可控角度	俯仰：+90°~30°；横滚：±45°；偏航：±60°
最大控制转速	180°/S
重量	104g
输出接口	网口/串口
储存	SD卡，最高支持128G（U3卡）

USB免驱摄像头	参数
视频录制	1080P
USB 协议	USB 2.0，兼容 USB1.0 和 USB3.0
镜头	6 镜片高清镜头
镜头焦距	3mm
建议对焦距离	30cm 到 6 米
广角角度	130°（无畸变）
兼容系统	Windows XP，Windows 7，Windows 8，Windows 10，Mac，Ubuntu，树莓派，Android

应用场景

硬件清单

名称	型号规格	数量/单位
Allspark 2	Allspark 2-Orin NX / Allspark 2-Orin Nano	1 台
以太网转接板	4Pin GH1.25 转 RJ45	1个
电源适配器	12V@4A	1 个
电源转接线	DC5521 母转 XT30 母*2，30cm长	1 条
Micro USB线	Micro USB 2.0 转 Type A	1 条
6P GH1.25转接线	6P GH1.25，15cm	3 条
4P GH1.25转接线	4P GH1.25，15cm	6 条
2.4G WiFi天线	178线，MMCX 直头内针，总长8cm，2.4G	1 个
HDMI 转接线	Micro HDMI公转HDMI母口	1 条
固定螺栓	M2.5*5	8 个
G1吊舱	G1	1 台
专用安装螺柱	M2*40mm	4 个
三合一连接线	网络、电源、相机控制接口	1 条
USB 转串口模块	/	1 个
串口转接线	/	1 根
云台调试支架	上碳板 *1；下碳板 *1；螺柱 *4；螺栓 *8
储存	SD卡，最高支持128G（U3卡）
USB摄像头	USB 摄像头	1 台
USB 数据线	USB 数据线	1 条

如果您对SpireCV 开源项目，可联系我们进入开发者交流群~