基于深度学习的天基智能光学遥感

---

前言

第二篇卫星遥感系列，配合课程需要，拆解论文，文章从空间光学遥感技术目前存在的主要问题入手，说明深度学习在天基光学遥感中应用的必要性，提出深度学习的应用设想，特别结合深度学习的能力优势，重点介绍深度学习在天基智能遥感中的创新应用及相关技术的研究进展，最后对天基智能遥感技术未来的发展趋势进行了展望。

一、基础概念

1.智能光学遥感：

随着遥感数据量的不断增加及遥感观测任务复杂度的显著提高，应用人工智能技术赋能空间光学遥感技术成为航天领域的研究热点。深度学习作为人工智能领域里的一大热点，近些年来更多的参与到光学遥感的辅助手段的研究中，鉴于其能很好的满足“数据爆炸”时代中更强的遥感数据获取能力、更快速的遥感数据应用能力，深度学习在未来空间光学遥感领域的进一步推广和实施是非常有前景的。

2.深度学习在光学遥感的应用范围：

第一，实现空间光学遥感系统智能建造与快速重构（机械臂与机器人的智能制造与装配）。第二，提升光学遥感卫星针对各类目标识别任务的自主决策调整能力（灵活性）。第三，解决光学遥感数据量快速增长与有效信息提取时效性较低的矛盾（数据处理不如数据获取发展的好，实时性尚为达到）。第四，增强空间光学遥感数据直接面向任务需求服务用户的应用水平（配合第二点，当前数据量大缺乏针对性）。目前深度学习的研究工作均属于面向地面处理环节，该技术在天基遥感中的应用尚处于空白，但从前述可以看出其发展的巨大空间。

3.深度学习（文中定义）：

与大数据、图像相关联的技术领域，深度学习技术赋能效果显著。深度学习是一种有多层表示的特征学习方法，通过许多模型对于原始数据进行非线性变换，从而将其转换为一个对于源数据的深层次表达。深度学习技术与航天光学遥感技术的结合是必然趋势，这将极大推动空间光学遥感技术的成像与自主处理能力，并全面提升空间光学遥感载荷的性能。

二、设想与方案

1.设想

需要实现的功能大致为：能实现空间位置与辐射强度的自动变化检测，能够预先试探成像并进行模式参数调整的智能信息获取，能对目标移动路径进行跟踪并精准定位其空间几何坐标，能配合信息收集中心与信息手持设备实现及时的信息下传。

2.重点

智能算法是研究的重点，还需不断提升图像解译技术的能力。采用图像分割、图像检测等方法，实现在一定约束条件下的关键信息识别与处理，从实时光学遥感图像中识别特定目标，提高目标识别的准确度及速度，为任务快速决策提供技术支撑。具体功能里的重点一个是动目标识别，需要动目标图像识别算法对目标本身姿态、环境等因素具有一定的抗干扰能力；还需要加强面向光学遥感图像中小目标智能自主检测的深度学习网络架构设计，在保证多型超低分辨率目标高精度智能检测的同时，还应对深度学习网络架构进行轻量化处理；此外，还需具备快速获取关注区域中指定目标的数量和位置、完成图像到信息的转化、可同时下传图像与报文等功能。

3.其他说明

深度学习在航天遥感应用中的工程搭建，可分为训练和推断两个环节。训练环节通常需要通过大量的数据输入，或采取增强学习等非监督学习方法，训练出一个复杂的深度神经网络模型；推断环节指利用训练得到的模型，使用新的数据去“推断”结论，而神经网络模型的复杂度不是深度学习在航天遥感应用中的工程搭建，可分为训练和推断两个环节。仅仅依赖软件方式加速卷积神经网络，无法满足实时性和功耗要求，使得卷积神经网络无法在计算资源和存储资源都相对不足的在轨嵌入式平台上实现实时应用。目前多采用FPGA、GPU等的单一或多种组合处理器进行加速，随之牵涉到更多的的硬件连接，以及星上处理的可靠性、安全性等都对硬件处理平台架构设计构成了很大的挑战。

4.方案

开展基于普查、详查一体化相机技术体制的智能遥感载荷研究，通过智能图像处理对相机成像进行闭环控制，实现对特定目标的识别跟踪，设计思路如图所示。该技术利用高分辨率窄视场、低分辨率宽视场两台相机构成普查、详查一体化的智能相机系统，该系统具有宽幅推扫搜索、定点凝视跟踪工作模式，并且可实现基于智能图像处理的相机闭环控制方式；利用星上图像实时处理技术，先通过宽幅普查相机搜索发现疑似目标，提取感兴趣目标候选区域，如左图所示；再自主引导高分详查相机二维指向机构对疑似目标做识别确认和定位，高分详查相机对目标进行自动跟踪拍照，除了获得高分辨率的目标影像外，还可生成已识别目标的类型、位置信息、运动轨迹等有用信息，如右图所示。

5.需解决的关键问题

1）缺乏规范化的包含指定目标的遥感数据训练样本库。（在庞大的遥感数据库中选择提取需要的部分）2）智能遥感的自主特征无法发挥作用，同时也大幅降低了实时性，严重限制智能载荷的实际应用（地面模拟与空间真实环境必然存在差异，需要人工干预调整）。3）深度卷积神经网络技术的在轨应用受限于天基计算资源有限，基于传统电子的深度神经网络仍难以在有限功耗条件下发挥其全部能力迫切需要发展新型的人工智能加速硬件来提升算力，并降低运算能耗以满足天基遥感智能化需求。

三、新技术与新应用

1.面向深度学习的虚拟样本自动生成技术：

1)产生背景：

现有目标在多种复杂环境背景中的样本数目有限，无法满足深度学习的基本要求，基于现有小样本数据信息扩充有效数据量以满足建模数据要求是一项重要工作（是一个由少生多的过程）。

2)概述：

采用卫星遥感图像背景目标合成，以及生成对抗网络仿真渲染，实现可用于深度学习的多种目标虚拟样本生成，并以此构建数据库。

3)具体操作：

首先进行卫星遥感场景图像与被测目标图像自动融合及标记。将卫星遥感图像按不同场景和分辨率建立用于合成图像背景的遥感图像数据库，同时采用从真实卫星遥感图像中采集或利用模型激光三维重构投影等方式，按类别和型号建立被测目标图像数据库。构建卫星遥感图像分辨率与探测目标像元数之间的映射关系（因为遥感图像的分辨率是不同的，需要让遥感图像背景能与目标图像分辨率相匹配，最后合成渲染才更加真实），能够根据任务需求分别从对应的数据库中随机调用背景图像以及探测目标图像，按照分辨率像元映射关系采用上采样或下采样方法，自动生成满足任务需求的包含被测目标的仿真合成卫星遥感图像，在合成的图像样本基础上，利用深度生成对抗神经网络可大幅提升目标与背景图像融合的真实感，期间会利用判别网络不断比较生成图与真实图的差异，然后再做调整，最后基于此对全部图像都进行真实渲染。

2.在轨光学遥感像质状态智能监测补偿技术：

1)背景：

不同于传统在轨智能遥感自主识别系统的研制思路，提出实时补偿在轨遥感图像像质以满足智能识别算法的方法。

2)概述：

通过建立遥感图像像质定标数据集，并以此训练智能识别模型，进而利用深度生成对抗网络从实时获取的遥感图像中提取定标图像像质的变化特征，以此补偿在轨遥感图像像质，消除其与图像像质定标数据集的特征差异，从而确保智能遥感系统在不调整智能识别模型的情况下，即可在轨高效运行。（相当于是对实时获取的遥感图像像质进行一个统一，这样便可以直接放入智能识别模型中而无需再做其他调整）

3)效果：

有效解决了传统在轨智能遥感识别系统中仍需人工参与地面校准智能模型的重要问题，真正实现了智能遥感载荷的完全独立自主。

3.全光学深度神经网络智能遥感探测技术：

1)背景：

现有的基于深度学习的人工智能技术虽然可以在一定程度上实现光学遥感载荷智能化与遥感数据智能化处理，但是，天基平台受功耗、体积等约束，能提供的计算资源与能耗受限，使得基于传统电子学器件的智能遥感探测系统在应用中具有一定困难。

2)概述：

全光学深度神经网络技术是一项前沿交叉技术，其核心思想是设计具备深度学习智能算法功能的等价光学系统，即经过设计的光学元件具备深度学习智能算法的功能，使用光学元件替换电子元器件。通过对遥感图像光场的调控实现有效信息自主提取、目标智能分类识别。

用上方的框是电子元件构建的传统深度神经网络，下方框内是采用光学元件构建的全光学深度神经网络，两个网络均为 4 层深度神经网络。在传统深度神经网络中，采用卷积与非线性激活函数构成单层深度神经网络，在全光学深度神经网络中，采用线性计算与非线性计算实现深度神经网络功能。层层对比发现全光学深度神经网络与传统深度神经网络的图像处理能力与目标分类识别的能力一致，因此也说明这种技术的可行性。

3)效果：

极大降低遥感系统自身质量，从本质上解决遥感载荷智能目标识别对巨量计算资源的依赖，为遥感系统在轨智能化的实现提供了切实可行的技术路线；该技术的研究与应用将有效提升光学遥感载荷的功能密度，使其具备智能化，同时兼有载荷系统轻量化、低功耗等特点，可推动面向任务的新型智能遥感探测系统的发展。

4)具体操作：

在一定任务场景下，前端镜头对视场内景象进行拍照成像，并将所得到的目标图像发送至全光学深度神经网络系统；全光学深度神经网络系统对图像进行深度学习智能检测与识别，根据任务需求输出所需要的图像信息，同时输出提取后的目标信息并发送至探测器及后端处理电路，之后系统输出最终任务所需信息。

四、总结

随着空间光学遥感技术的不断发展，光学遥感载荷的智能化是大势所趋，深度学习等人工智能技术也必将引起光学遥感领域的巨大变革。

补充说明

本文主要为自己对论文的理解，有不当之处请批评指正。
最后放上参考文献地址link.，感兴趣的朋友们读原文肯定很有收获。