多波段图像处理的异构边缘计算平台设计

    本文主要介绍涉及热红外、可见光视频图像处理的异构边缘计算平台的设计方式。

    硬件平台架构中分为信息输入源、信息处理单元、光机电控制单元、后端处理平台等部分组成。信息输入源包含了雷达、热红外视频、可见光视频；信息处理单元包含了异构视频处理平台；光机电控制单元包含了变焦可见光镜头、云台等部件。

 图. 边缘计算设备组成

   雷达采用无线电雷达，热红外成像器采用高灵敏度氧化钒材料640x512分辨率长波红外探测器。可见光成像器选择上将选择高灵敏度CMOS传感器，异构信息处理单元将采用ARM+NPU+DSP的混合型异构平台，对外连接信息输入源、光机电控制平台以及后端处理平台，是设备中的处理核心。异构处理平台中ARM核心采用双核[email protected]、双核[email protected]以及独立的A53独立处理核组成。DSP为四核心，700MHz主频，NPU为双核心，每个核心可以独立运行，以便支持双波段视频的并行算法运行，每个核心算力为2TOPS。在核心芯片的选用上均采用国产化芯片，有更好的自主可控能力。

   上述各个模块之间的信息通道均采用数字化方式，具体信息接口设计方式如下图所示。热红外成像器的输出接口为BT.656数字接口，可见光输出接口为网络视频接口，两个接口同时接入异构信号处理平台中。异构处理平台通过两组RS232接口分别控制可见光镜头与热红外镜头。异构处理平台用独立的RS485接口控制电控云台。异构处理平台与后端处理平台之间用网络方式通信，此部分网络可同样支持无线通信方式。

图. 各模块间通信链路