遥感数字图像处理（复习）

绪论

数字图像处理的概念

• 像素：将物理图象行列划分后，每个小块区域
  • 每个像素包括位置和灰度两个属性
• 数字图像：由像素组成的二维矩阵
• 对于单色即灰度图像而言，每个象素的亮度用一个数值来表示，通常数值范围在0到255之间，即可用一个字节来表示，0表示黑、255表示白，而其它表示灰度级别。
• 彩色图像可以用红、绿、蓝三元组的二位矩阵来表示
• 数字图像处理：利用计算机系统对数字图像进行各种目的的处理

数字图像的表示方法

• 对连续图像$f(x,y)$数字化
  • 空间上图像抽样
  • 幅度上灰度级量化
• x方向抽样M行，y方向每行抽样N点，整个图像共$M\ast N$个像素。
  • 一般取$M=N=2^n=64,128,256\dots$
• 数字图像常用矩阵来表示

数字图像处理的三个层次

1. 图像处理
   • 对图像进行各种加工，以改善图像的视觉效果；强调图像之间进行的变换
   • 图像处理是一个从图像到图像的过程
2. 图像分析
   • 对图像中感兴趣的目标进行提取和分割，获得目标的客观信息(特点或性质)，建立对图像的描述
   • 以观察者为中心研究客观世界
   • 图像分析是一个从图像到数据的过程
3. 图像理解
   • 研究图像中各目标的性质和它们之间的相互联系;得出对图像内容含义的理解及原来客观场景的解释
   • 以客观世界为中心，借助知识、经验来推理、认识客观世界，属于高层操作(符号运算)

数字图像处理的主要研究内容

1. 图像变换：傅立叶变换、沃尔什变换、小波变换……
2. 图像压缩编码：熵编码，预测编码，变换编码，二值图像编码、分形编码…
3. 图像的增强和复原：灰度修正、平滑、几何校正、图像锐化、滤波增强、维纳滤波……
4. 图像分割：图像边缘检测、灰度阈值分割、基于纹理分割、区域增长…
5. 图像描述：二值图像的几何特征、简单描述子、形状数、傅立叶描述子，纹理描述…
6. 图像识别
7. 图像隐藏

数字图像基础

图像与数字图像

• 图像的类型：模拟图像与数字图像
• 模拟图像：通过某种物理量(如光、电等)的强弱变化来记录图像亮度信息的图像
  • 物理量变化连续
• 数字图像：是用一个数字阵列来表达客观物体的图像，是一个离散采样点的集合，每个点具有其各自的属性
  • 它是把连续的模拟图像离散化成规则网格，并用计算机以数字的方式来记录图像上各网格点的亮度信息的图像
  • 采样：空间位置的离散化
  • 量化：电磁辐射能量的离散化
  • 

数字图像获取时的基本参数

数字图像获取
特征参数

质量特征

空间分辨率

辐射分辨率

信息量特征

光谱分辨率

时间分辨率

• 空间分辨率（R）：指数字图像像元所能分辨目标的尺寸大小
  • 单位：PPI (Pixels Per Inch)
  • 作用：衡量数字图像对模拟图像空间坐标离散化的精度
  • 决定因素：采样密度(采样间隔越小，空间分辨率越高，图像越清晰)
  • 影响因素：设备的采样能力、成像系统的焦距和物距
  • 视场角—>一景影像，瞬间视场角—>像元
  • 表示方法：
    1. 像元大小。因为有地理空间坐标，空间分辨率常用单个像元所代表的地面面积大小来表示。例如：TM影像通常为30M
    2. 线对数。对于摄影系统来说，图像的空间分辨率通常用每毫米的线对数来表示。线对就是指一堆同等大小的明暗条纹，每毫米内线对数越多，说明图像的空间分辨率越高。
    3. 瞬时视场。瞬时视场是指传感器内单个探测元件的受光角或观测视野，瞬时视场越小，空间分辨率越高。
  • 纯像元：地物尺寸大于像元空间分辨率时一个像元只表示一个物体的一部分
  • 混合像元：地物尺寸小于像元空间分辨率时，一像元由多个物体组成，像元值主要反映发射/反射能量最强的部分
• 辐射分辨率：指传感器探测元件在接收光谱信号时所能分辨的最小辐射度差
  • 单位：Byte
  • 作用：反应了传感器对光谱信号强弱的敏感程度和区分能力
  • 决定因素：量化能力(量化级越多，图像层次越丰富，辐射分辨率越高)
• 时间分辨率指对同一区域进行重复观测的最小时间间隔。
  • 作用：遥感影像的一项性能指标，反映遥感探测器的重访周期
  • 决定因素：遥感平台的回归周期（采样时间间隔越小，时间分辨率越高）
  • 应用：在利用遥感影像监测目标地物动态变化时，应根据遥感应用目的选择相应的影像时间分辨率
  • 短周期（小时）：气象卫星
  • 中周期（天）：植被动态 （MODIS一天过境两次）
  • 长周期（年）：土地利用，城市扩展
• 光谱分辨率：指传感器探测元件在接收目标地物辐射能量时所使用的波段数目（通道数）、波长位置和波段间隔
  • 作用：衡量传感器的光谱分辨能力。
  • 决定因素：传感器的设计。传感器波段的设计具有针对性，地表物体在不同光谱段上有不同的吸收、反射特征。多光谱成像技术就是根据这个原理，使不同地物的反射光谱特性能够明显的表现在不同波段的图像上。高光谱数据在可见光-近红外波段范围被分割成几百个窄波段，具有很高的光谱分辨率，从其近似连续的光谱曲线上可以分辨出不同物体的微小光谱差异。
• 分辨率相互制约：
  • 空间与时间
  • 空间与辐射

数字图像特性

• 数字图像具有空间分布特性和统计特性
• 空间分布特性
  1. 空间位置：矩阵
  2. 形状：点状、线状和面状
  3. 大小：面状物体的面积或者线状物体的长度，表集聚状态
  4. 空间关系：拓扑关系：相邻、包含、想离
• 数值统计特性：即描述图像灰度分布状况，一般用灰度直方图表示，其横坐标为灰度级，纵坐标为各灰度级在图中出现的像元个数总和
  • 直方图的性质
    1. 仅表达图像的灰度分布统计信息，丢失空间信息
    2. 如果一幅图像由两个不连续的区域(即灰度级不连续的区域)组成，并且每个区域的直方图已知，则整幅图像的直方图是这两个区域的直方图的组合。
  • 直方图的用途
    1. 图像获取质量评价
    2. 边界阈值的选择
    3. 噪声类型判断

数字图像输出时的基本参数

数字图像输出
特征参数

质量特征

输出分辨率

空间分辨率

灰度分辨率

辐射分辨率

信息量特征

颜色空间模型

光谱分辨率

时间分辨率

• 输出分辨率(O)
  • 屏幕分辨率
  • 打印分辨率：300DPI
  • 输出分辨率越高，输出设备可展示的图像细节越清晰
    • R>O：缩小原图像：最小细节变粗
    • R=O：还原原图像：最小细节不变
    • R
• 灰度分辨率：指输出设备(如电子屏幕、打印机等)能够区分的最小灰度差。
• 颜色空间模型：颜色空间是用一种数学方法来形象化地表示颜色，颜色空间中的颜色通常用代表3个参数的3维坐标来描述，其颜色要取决于所使用的坐标，常用的颜色空间模型有RGB 颜色模型、CMYK颜色模型、HSI颜色模型等

数字图像种类

• 黑白图像：灰度由0，1组成，灰度量化级为1 bit
• 灰度图像：单波段
• 伪彩色图像：不同RGB
  • 标准假彩色影像：近红外波段赋红色，红波段赋绿色，绿波段赋蓝色（突出植被）
• 彩色图像：红绿蓝三个颜色通道的数字层组成的图像
  • 只有当红光通道对应于红光波段的辐射亮度、绿光通道对应于绿光波段的辐射亮度、蓝光通道对应于蓝光波段的辐射亮度时，才叫真彩色图像，否则都是假彩色图像。

数字图像存储与读取

信息在计算机上的存储原理

• 存储器最小存储单位是比特（bit）
• 解码顺序：
  • 比特序
    • 大端：高比特位存低物理地址
    • 小端
  • 字节序

多波段数据存储方式

• 逐波段存储BSQ：有利于图像空间分布信息的显示与处理
• 逐行存储BIL：兼顾了图像空间分布信息与像元光谱信息的显示与处理
• 逐像元存储BIP：有利于图像像元光谱信息的显示与处理

图像文件存储的基本信息

• 图像元文件：存放图像解码信息
• 图像文件的头信息(即编码信息)
  • 数据类型、解码顺序(从大端开始解码还是从小端开始解码)
  • 图像的行数和列数
  • 图像的波段数
  • 多波段图像的存储方式
  • 图像的偏移量
  • 其它信息(如投影类型及其参数、颜色查找表等)

遥感图像文件存储格式

• 开放式：头文件和数据文件是分开存储的，其中以ENVI软件的标准数据存储格式最为常见
  • 公开透明，很容易获得图像解码信息，然后设置相应解码信息读取数据文件
  • 但有两个文件(数据文件、头文件)，容易造成头文件丢失。
• 封闭式：头文件和数据文件封装在一起存储
  • 遥感图像处理中常见的TIFF、GeoTiff、HDF、HDF-EOF、 ERDAS Imagine等图像格式
  • 其它的封装存储格式还有 BMP、JPEG、PSD、CDR等图像格式
  • TIFF格式：三级结构，从高到低为：文件头、标识信息区(IFD)以及图像数据区
  • 数据和元信息封装存储在一个文件，元信息不容易被丢失
  • 但图像解码信息不容易获取，一般需有特定软件才能打开该图像。

空间域处理方法

• 空间域和变换域
  • 空间域处理方法：根据图像像元数据的空间表示$f(x,y)$进行处理
  • 变换域处理方法：对图像像元数据的空间表示$f(x,y)$先进行某种变换，然后针对变换数据进行处理

空间域
处理方法

数值
运算

单波段操作

点运算

邻域计算

多波段操作

代数运算

剖面运算

集合
运算

空间操作

图像裁剪

规则裁剪

不规则裁剪

图像镶嵌

波段操作

波段提取

波段叠加

逻辑运算

求反运算

与运算

或运算

异或运算

数学形态学操作

二值形态学

腐蚀

膨胀

开运算

闭运算

灰度形态学

数值运算

• 遥感图像波段内各个像元灰度值以及波段间的各个像元灰度值进行的加减乘除等数学运算。

单波段操作

单波段点运算

• 点运算：对单幅图像像元进行的逐像元数值运算，它将输入图像映射为输出图像，输出图像每个像元的灰度值仅由对应的输入像元点的灰度值决定，它不会改变图像内像元之间的空间关系。若输入图像为$f(x,y)$，输出图像为$g(x,y)$，则点运算可表示为；$$g(x,y)=T[f(x,y)]$$T为灰度变换函数，可为任意函数，根据灰度变换函数的不同，点运算又可分为线性点运算、分段线性点运算和非线性点运算。
• 线性点运算：用于图像的整体增强
  • 假定原图像$f(x,y)$的交度值范围为$[a_1,a_2]$，希望变换后的图像$g(x,y)$的灰度值范围为$g(x,y)$，则可采用下式进行线性变换来实现：$$g(x,y)=\frac{f(x,y)-a_1}{a_2-a_1}(b_2-b_1)+b_1$$
  • 线性点运算一般用于图像的整体增强。
• 分段线性点运算
  • 为了突出图像中感兴趣的目标或者灰度区间，抑制那些不感兴趣的灰度区域，可以采用分段线性法来对需要的图像细节灰度级进行拉伸，增强其对比度，对不需要的细节灰度级进行压缩，其数学表达式如下所示：$$g(x,y)=\{\begin{array}{ll}\left[\left(c-G_{\min }\right)/\left(a-F_{\min }\right)\right]\left[f(x,y)-F_{\min }\right]+G_{\min }& F_{\min }⩽f(x,y)<a\\ [(d-c)/(b-a)][f(x,y)-a]+c& a⩽f(x,y)⩽b\\ \left[\left(G_{\max }-d\right)/\left(F_{\max }-b\right)\right][f(x,y)-b]+d& b<f(x,y)⩽G_{\max }\end{array}$$
  • 分段线性点运算一般用于图像局部灰度增强。
• 非线性点运算
  • 非线性变换的函数有很多，常用的有指数变换和对数变换。
  • 
  • 非线性点运算一般用于图像局部灰度增强
    • 高斯拉伸：以128作为平均值，根据高斯函数的形状，0-128按指数方式拉伸，128-255按对数方式拉伸
    • 平方根拉伸：类似对数方式拉伸，暗的地方被拉伸，亮的地方被压缩

单波段邻域运算

• 邻域运算是指输出图像中每个像元的灰度值是由对应的输入像元及其邻域内的像元灰度值共同决定的图像运算。
• 邻域运算的具体做法是先定义一个邻域窗口，该邻域窗口通常只用来定义参与运算的邻域范围，如果邻域窗口对应为一个$M\times N$（M、N通常为奇数）的数字矩阵，则称之为模板窗口。将原图像像元在邻域窗口中进行运算，将运算后的值赋给输出图像中对应于邻域窗口中心的像元。
• 邻域窗口根据其在运算过程中的不同平移方式，又可以分为滑动窗口和跳跃窗口。
  • 滑动窗口
  • 跳跃窗口：
• 图像卷积运算就是将模板在输入图像中逐像元移动，每到一个位置就把模板的值与其对应的像元值进行乘积运算并求和，从而得到输出图像对应于模板中心位置的像元灰度值。
  • 
  • 卷积运算的作用：图像滤波（图像去噪声、图像增强）
• 邻域统计
  • 常见的邻域统计包括求和、均值、标准差、最大值、最小值、众数、少数、多样性、密度、秩统计等。
  • 多样性统计：逐步统计输入图像在邻域窗口中所包含的像元类型个数（一个唯一灰度值对应于一种类型的像元），并将此值赋给输出图像对应于邻域窗口中心的像元。
    • 
  • 密度统计：逐步统计某一灰度值（通常为输入图像在邻域窗口中心的像元值）在输入图像邻域窗口所覆盖区域内出现的次数，并将此值赋给输出图像对应于邻域窗口中心的像元。
    • 
  • 秩统计：逐步统计输入图像在邻域窗口所覆盖区域内灰度值小于中心像元（输入图像对应于模板中心的像元）灰度值的像元个数，并将此值赋给输出图像对应于邻域窗口中心的像元。例如：下图中比2小的数有4个，分别为1，1，1，1.
    • 

多波段操作

代数运算

• 图像的代数运算是指对多幅（两幅或两幅以上）输入图像进行的像元对像元的数学运算。常见的代数运算有：
  • 加法运算可以把同一场景的多幅图像加起来求平均，从而可有效降低图像中的随机噪声。
  • 减法运算可用于突出图像中的研究对象，通过去除背景效果，能够去除部分系统影响，从而突出观测物体本身。
  • 乘法运算可以用来遮盖图像中的某些部分（图像掩膜：有一个掩膜的模板，一般像元的灰度值是二值图像，对于关注的目标为“1”，对于背景为“0”）。
  • 除法运算常用于产生比率图像，这对于多光谱图像的分析十分有用。
  • 代数运算：归一化差值植被指数（NDVI）计算。其中NIir为近红外波段反射率，Red为红光波段反射率。通过NDVI计算把植被部分突出出来。

剖面运算

• 

集合运算

空间操作

图像裁剪

• 图像裁剪的目的是为了保留图像中需要感兴趣的部分，将感兴趣区之外的部分去除。
• 如果图像裁剪不是最终的处理步骤，此时需尽可能使裁剪后的图像比实际的研究区略微大一些，以免给图像的后续处理带来问题。
  • 图像完全按边界裁剪后做投影变换处理所引起的边缘数据缺失
  • DEM图像完全按边界裁剪后计算坡度所引起的周边坡度值偏大
  • 

图像镶嵌

• 图像镶嵌是在统一的空间坐标系下，把多景相邻遥感图像拼接成一幅大范围、无缝的图像。
• 注意事项：
  • 待镶嵌的图像在重叠区应该具有相似的色调、纹理等特征。
  • 拼接线尽量选择在差异明显的自然地物交界处，如河流（河两边的自然地物一般变化较大）、路、山脊（山的南北景观差异明显）。
  • 需考虑对拼接线两边附近的图像作匀色处理。

波段操作

• 波段提取：从一个多波段的图像文件中提取某一个特定波段作为一个独立的文件。如选择某些光谱波段进行遥感分类。
• 波段合并：将同一地理范围不同波段的文件合并为一个多波段文件
  • 同一场景的图像
  • 图像具有相同的空间坐标系
  • 图像文件的尺寸大小相同，即具有相同的行列数

逻辑运算

• 与运算：当两幅输入图像对应像元的值均为1时，通过与运算后，输出图像像元的值才为1
  • 常用于求两幅图像的相交图像
• 或运算：当两幅输入图像对应像元的值有一个为1或者两个都为1，通过或运算后，输出图像像元的值则为1
  • 常用于获得两幅图像的合并图像
• 求反运算：当输入图像像元的值为0时，通过求反运算后，输出图像像元的值为1，当输入图像像元的值为1时，通过求反运算后，输出图像像元的值为0。
  • 常用于获得二值图像的补图像
• 异或运算：当两幅输入图像对应像元的值不同时，通过异或运算后，输出图像像元的值才为1
  • 常用于获得两幅图像的相交子图像

数字形态学运算

• 以形态为基础对图像进行分析的数学工具，在图像去噪声、图像增强、图像分割等处理中应用较广。
• 二值形态学
  • 腐蚀：消除边界点，使边界向内部收缩，可以消除小且无意义的目标物。
    • $A\odot B=\left\{x,y\mid (B{)}_{xy}\subseteq A\right\}$
    • 与B相同像元为1，否则像元为0
  • 膨胀：将与目标区域接触的背景点合并到该目标物中，使目标边界向外部扩张的处理。
    • 与B相同像元为0，否则为1
  • 开运算：使用同一个结构元素先腐蚀后膨胀
    • $A\circ B=(A\ominus B)\oplus B$
  • 闭运算：使用同一个结构元素先膨胀后腐蚀
• 灰度形态学：
  • 腐蚀：$(f\ominus b)(s,t)=minf(s+x,t+y)-b(x,y)|[(s+x),(t+y)]\in D_f;(x,y)\in D_s$
  • 膨胀
  • 开运算
  • 闭运算
  • 去椒盐噪音等

变换域处理方法

主成分变换（PCA）

• 将一组可能相关的变量转换到一组线性不相关的变量（称为主成分）的统计分析过程
  • 各主成分量没有具体意义
  • 按照信息量（方差）的大小排列
• 主成分变换过程
  1. 假设我们有一个样本集X，里面有n个样本（观测值，相当于遥感图像的各个像元），每个样本的维度为m（观测属性，相当于遥感图像的各个波段）
     • S = [ x 11 x 12 ⋯ x 1 m x 21 x 22 ⋯ x 2 m ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 ⋯ x n m ] = ( x 1 x 2 ⋯ x m ) S=\left[\begin{array}{cccc}x_{11} & x_{12} & \cdots & x_{1 m} \\x_{21} & x_{22} & \cdots & x_{2 m} \\\vdots & \vdots & \ddots & \vdots \\x_{n 1} & x_{n 2} & \cdots & x_{n m}\end{array}\right]=\left(\begin{array}{llll}x_{1} & x_{2} & \cdots & x_{m}\end{array}\right) S= ​x11​x21​⋮xn1​​x12​x22​⋮xn2​​⋯⋯⋱⋯​x1m​x2m​⋮xnm​​ ​=(x1​​x2​​⋯​xm​​)
  2. 构建新变量指标它们分别称为原变量指标$z_1,z_2,z_3,\dots ,z_m$，它们分别称为原变量指标$x_1,x_2,\dots ,x_m$的第1，第2，…第m主成分
     • $$\{\begin{array}{c}{z}_1=l_{11}{x}_1+l_{12}{x}_2+\cdots +l_{1m}{x}_m\\ z_2=l_{21}{x}_1+l_{22}{x}_2+\cdots +l_{2m}{x}_m\\ \cdots \cdots \cdots \cdots \\ z_m=l_{m1}{x}_1+l_{m2}{x}_2+\cdots +l_{mm}{x}_m\end{array}$$
     • 求系数$l_{ij}$是关键：
       • $z_i$与$z_j$相互无关
       • z1是方差最大的，z2是与z1不相关的方差最大的以此类推
  • 
• 应用：图像压缩，图像去噪，图像增强，图像融合，特征提取

最小噪声分离变换（MNF）

• 一种正交变换，变换后得到的各分量互不相关，各分量按照信噪比从大到小排列；MNF变换后使噪声得到分离，且波段间不相关，所以比PCA更优越
• MNF相当于两次PCA
  • 第一次对噪声
  • 第二次对像元
• 具体计算方法：
  1. 噪声估计
  2. 对噪声图像进行PCA，获得用于随机噪声分离和调整的变换矩阵
  3. 对原始遥感影像各波段的随机噪声进行分离和重新调整
  4. 对经噪声分离和重新调整的原始遥感影像进行PCA
• 
• 应用：图像压缩，图像去噪，图像增强，图像融合，特征提取

缨帽变换（TCT）

• 一种基于图像物理特征的固定转换，变换后的坐标轴不是指向主成分方向，而是指向与地面景物有密切关系的方向，特别是与植物生长过程和土壤有关。
  • 变换后的分量有明确的物理意义，变换方式与传感器有关
• 变换模型$$Y=cX+a$$X为变换前的多光谱空间（不同的波段，每个像元的值所组成的矢量）的像元矢量，Y为变换后的多光谱空间的像元矢量，c为变换矩阵，a是为了避免出现负数所加的常数项。
• 常见分量：
  • 亮度分量 (Brightness）：波段分量的加权和，反映了总体的亮度变化；
  • 绿度分量 (Greenness）：与亮度分量垂直，是近红外与可见光波段的比值，反映可见光波段特别是红光波段与近红外波段之间的对比，即地面植被的绿度；
  • 黄度分量 (Yellow Stuff)：反映植被的枯萎程度；
  • 温度分量(Wetness）：与土壤湿度有关，反映可见光与近红外波段及红外波段的差值。
  • 无意义分量 (Non-such）：无实际意义，通常为噪声。
• 应用：图像压缩，图像去噪，图像融合，特征提取

傅立叶变换

• 通过频率来分离信号的方法。
• 数字图像中的频率
  • 低频：均质地表变化平缓的区域
  • 高频：边缘、噪声等变化陡峭部分
• 含义：遥感图像经过傅里叶变换之后，它的高频部分就对应于这个边缘，梯度的绝对值比较高
• 应用：图像压缩、图像去噪、图像增强

小波变换

• 用由零开始由零结束、中间为一段震荡的波来表示信号，是一种能量在时域非常集中的波。
• 小波变换的优势
  • 突变信号的傅里叶变换：对于突变信号，即使只有一小段变换，傅里叶也不得不用大量的三角波去拟合，并且会出现Gibbs现象（方波的Gibbs现象，锯齿波的Gibbs现象）
  • 突变信号的小波变换：如果我们用小波去拟合这种阶跃信号，只要小波基函数不和这个信号变化重叠，它所对应级数的小波系数则为0。
• 数字图像小波变换
  • 一级小波变换结果及其各位置对应成分（| 概况图 | 垂直细节 | 水平细节 | 对角细节｜ ）
• 应用：图像压缩、图像去噪、图像增强、图像分割、边缘检测

颜色空间变换

• 颜色空间：用一种数学方法来形象地表示颜色，颜色空间常用来指定和产生颜色
  • 通常用3个参数的3维坐标来描述
• 颜色空间分类：
  • 颜色感知：混合型颜色空间（如RGB颜色空间）、强度/饱和度/色度型颜色空间（如HSI颜色空间）等。
  • 技术应用：计算机图形颜色空间（如RGB颜色空间）、CIE颜色空间（如XYZ颜色空间）、和电视系统颜色空间（如YUV颜色空间）。
• 常用颜色空间：
  • RGB
  • CMY（K）（青-品红-黄）
  • HSI（色调（H）、色饱和度（S）和亮度（I））
• 相互转换
  • 颜色空间之间直接转换
  • 不能直接转换，通过其他颜色空间的过渡来实现
  • RGB 转 CMYK：电子产品上看到的颜色转换成 CMYK 打印出来
  • RGB 转 HSI：几何推导法：RGB 颜色空间中的灰度线是彩色立方体的对角线
• 应用：图像增强、特征提取、制图输出