(学习笔记1)可见光与红外图像的特征融合(Feature Fusion)

一、可见光与红外图像以及融合图像的特征

  • 可见光图像:

  1. 纹理细节
  2. 高空间分辨率
  • 红外图像:

  1. 区分热辐射
  2. 忽略照明
  • 融合图像:

  1. 突出辐射信息(亮度和对比度)
  2. 详细的纹理信息(渐变和边缘)
  3. 清晰、完整和准确的目标描述

二、图像融合与图像特征融合的区别

  1. 图像融合(Image Fusion)

    图像融合是一种图像增强的方法,可见光图像捕获反射光,而红外图像捕获热辐射,两者结合具有互补的特性,融合后的图像比任何单张图像都包含更多的信息,且更准确。

    图像融合的目的是:

    1. 减少数据量

    2. 构建更适合人与计算机感知识别的图像

    3. 融合后的图像比任何输入单张图像提供更多的信息

  • 图像特征融合(Image Feature Fusion)

    图像特征融合是将图像中提取出的特征进行组合。图像的特征可分为传统特征与深度特征。传统特征包括颜色直方图、HOG、SIFT、ORB等,融合手段大多将特征进行拼接。

    在深度学习任务中,现有方法主要采用两种方式进行特征融合:

    1. 按元素进行相加(element-wise addition),代表有FPN/ResNet/SENet等网络结构

    2. 特征图拼接(Concatenation),代表网络为DenseNet。

(学习笔记1)可见光与红外图像的特征融合(Feature Fusion)_第1张图片

  • 两者区别

    图像融合主要在像素层面(数据层)进行,生成信息量更丰富的图像;而图像特征融合在特征级别进行,结合各个维度的特征,增强特征表达力。

三、本文参考

[1]  https://blog.csdn.net/AITIME_HY/article/details/113777988 基于深度特征分解的红外和可见光图像融合

[2]  https://zhuanlan.zhihu.com/p/500662503 论文笔记 | 图像融合与图像特征融合的区别和联系

[3​]  https://blog.csdn.net/weixin_42180950/article/details/107324726 一篇关于红外图像和可见光图像融合的摘要

你可能感兴趣的:(图像处理)