毕业设计-基于深度学习的遥感影像语义分割方法

目录

前言

课题背景和意义

实现技术思路

一、基础理论与相关技术

二、多特征注意力融合的遥感影像语义分割网络

三、双分支轻量级的遥感影像语义分割网络

实现效果图样例

最后

---

前言

    大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

毕业设计-基于深度学习的遥感影像语义分割方法

课题背景和意义

遥感技术是从高空接收地表各类目标的电磁波信息，远距离分析目标特征 和变化规律的对地观测综合性技术。随着遥感技术的飞速发展，高分辨率遥感影像目前已广泛应用于环境监测、 灾害评估和农作物产量评估等领域。语义分割作为计算机视觉中的关键任务之 一，它可以对图像中的每个像素进行分类。由于高分辨率遥感影像具有背景复 杂和目标尺度差异大等特点，传统的语义分割方法对遥感影像处理的效果并不 理想。深度学习技术在近几年取得了长足的进步，将其应用于遥感影像的解析 中具有现实意义。遥感探测器能够在短时间内对地球进行大 范围和周期性地观测，是宏观掌握地面事物现状和研究自然现象的重要工具。 近几十年来遥感技术飞速发展，人造卫星与航空飞行器可以持续地提供高空间 分辨率和高光谱分辨率的遥感影像，其效率和准确度远高于传统的人工数据统 计方式。高分辨率遥感影像比普通的自然图像包含更详细的地物信息和更明显 的地物辨别差异，目前已广泛应用于环境监测、灾害评估和农作物产量评估等 领域。

实现技术思路

一、基础理论与相关技术

1、卷积神经网络的结构

神经网络是对哺乳动物大脑中神经系统的模拟，是一种通过大量神经元互 相连接而构成的非线性网格系统。其基本结构包括输入层、中间隐含层和输出 层。

（1）卷积层

作为卷积神经网络中的重要组件，卷积层一般由多个卷积核构成，通过卷 积操作来提取输入数据的特征。卷积核是一个固定的权值矩阵，通过滑动的方 式对特征图中部分区域的像素进行运算。

如图所示，输入一张 6×6 的特征图，采用 3×3 的卷积核且步长为 1则输出特征图的长和宽都为 4。如果对 6×6 的特征图进行个数为 1 的零填充， 将卷积核的步长修改为 2，则输出特征图的长和宽都为 3。

（2）池化层

池化层一般位于卷积层之后，除了能够缩减特征图的尺寸之外，还可以扩 大网络的感受野，更重要的是它不会带来任何参数。池化层和卷积层一样可以 通过改变池化核和移动步长的大小来控制输出特征图的大小。特征图的大小如下式所示：

（3）激活层

激活层源于神经元之间信息传播过程中的刺激，目的是对输入进行非线性 的变换。

（4）批归一化层

批归一化层专注于对任何特定层的输入进行归一化处理，这意味着输入的 均值和方差分别近似于 0 和 1。在梯度下降过程中，网络会根据输入到任意层 的激活值来计算梯度。批归一化的过程 可用下列公式表示：

（5）Dropout 层

在训练过程中，如果网络的参数量大而训练的样本少，那么训练后的网络 容易出现过拟合的问题。为了解决此问题，一般采用模型集成的方式提高模型 的泛化性，然而这会带来巨大的时间和计算消耗。

（6）全连接层

全连接层通常位于分类网络的最后阶段。如图 所示，前后两层的神经 元采用完全连接的方式相互关联起来，能够大幅减少特征所在位置对分类带来 的影响。

全连接层的数学表达式如下所示 ：

 

卷积神经网络的训练

1、反向传播算法

反向传播算法需要结合优化算法来训练神经网络。通过链式求导进行计算， 将损失函数计算得到的梯度逆向传递给网络中的每一个神经元。优化算法以快 速收敛网络为目标对网络中的权重参数进行更新。

 (1) 正向传播

在正向传播过程中，输入数据通过逐层的变换处理之后将信息传递到输出 层，输出层的损失函数会利用网络的预测值和期望值计算误差。计算公式如下 所示：

(2) 反向传播

正向传播将输入数据送入网络获取激励响应后，反向传播根据得到的响应 误差逐层对各个神经元的权重求偏导，然后将梯度反向传递给每一个神经元。 代价函数是对所有样本误差的总和取平均，以均方差损失函数为例，代价函数 可用公式表示为：

2、优化算法

在机器学习中，绝大部分问题并没有最优解，常见的解决办法是通过迭代 的思想不断去寻找和逼近最优解，这是解决优化问题的重要方式。

典型的卷积神经网络模型

1、VGG

牛津大学的计算机视觉团队提出 VGG 用于图像分类任务，他们进一步研 究了网络的深度和性能之间的关系，并证明了增加网络的层数能够在一定程度 上影响网络最终的性能。相比于之前的网络，VGG 采用连续的 3×3 卷积核来代替原来的大卷积核， 这样做的好处是在具有同样感受野的情况下，能够提高网络的特征提取能力， 同时还可以减少卷积层的参数量。如图所示，

VGG 网络的整体结构非常精简，如图所示，通过大小一致的卷积核 提取特征，并使用最大池化进行网络下采样，最后阶段由三层叠加的全连接层 输出分类结果。根据网络深度的差异，分为 6 种不同的形式，其中 VGG16 和 VGG19 使用最为广泛 。

2、ResNet

随着加深网络深度而性能下降的现象被称之为网络退化。为了解决这一问题，何凯明等人在 2015 年提出了深度残差网络 ResNet，采用残差连接的方式来构建恒等映 射，使得网络加深也不会出现网络退化问题。

 如图所示

将输入为 X 时学习到的特征记为 H(X)，将中间的堆积层 记为 F(X)，然后结合输入和变换后的输出构建一种残差结构，可用下式表示：

Xception

为了解决多尺度问题，提出了 GoogLeNet，该网络采用 Inception 模块提取多尺度特征。Inception 模块由不同大小的卷积核组成，可在 保持计算成本的情况下，增加网络的深度和宽度。在此基础上，提出了 Xception，该网络采用大量的深度可分离卷积提取特征，在没有增加网 络复杂度的前提下进一步提高了网络的性能。 如图所示，卷积神经网络在使用标准卷积进行卷积操作时，同时使用 了特征图所有通道的值，即同时利用了空间维度和通道维度的信息。

 二、多特征注意力融合的遥感影像语义分割网络

网络整体结构

多特征注意力融合网络的结构如图所示，图中，PPM 表示金字塔池化 结构，CAM 表示通道自注意力结构，MS-IFM 表示多尺度信息融合模块，MLFFM 表示多层次特征融合模块。网络整体结构图：

编码器结构

1、骨干网络

编码器共包含骨干网络和多尺度信息融合模块两个部分，主要功能是提取 图像中的目标特征。首先，由于 ResNet101 的初始化层使用 7×7 的 卷积进行下采样，这不仅带来了较大的参数量，还会损失一部分图像中有用的 特征。其次， 为了完成像素级的分类任务，骨干网络在提取特征的同时需要保留特征图的结 构，因此去掉了原网络中最后的全连接层，保留初始化层和四个 Block 单元， 以实现端到端的语义分割网络。

2、多尺度信息融合模块

由于高分辨率遥感影像中的地物目标尺度差异大，不同类别的目标具有相 似性，相同类别的目标具有相异性。为了解决这些问题，通常使用空洞空间金字塔池化或者金字塔池化结构来捕获图像的上下文信息，提高网络对多尺度目 标识别的性能。由于空洞空间金字塔池化使用了不同扩张率的扩张卷积提取不 同尺度的特征，容易造成输出的特征图出现栅格效应。因此，设计了一种 多尺度信息融合模块。如图；

解码器结构

有效融合低层特 征中的细节信息，成为提高语义分割精度的关键之一。基于编码和解码结构的 UNet提供了一种正确的思路，在上采样过程中拼接编码器的对称层次的输出特征图，实现了细节信息的逐步恢复。

三、双分支轻量级的遥感影像语义分割网络

网络整体结构

如图所示，双分支轻量级网络主要由 4 个部分组成，分 别是细节分支、语义分支、自适应特征融合模块和强化器。图中，CE 表示上下 文增强 Block，MSF 表示多尺度融合 Block，Seg 表示辅助分割 Block

细节分支

细节分支用于捕获图像中目标的细节信息，因此该分支需要足够大的通道 容量才能较好地对目标的精细特征进行编码。由于细节分支只需要关注低级的 精细特征，因此本章设计了具有宽通道的浅层网络来捕获细节信息。细节分支 包含三个阶段，每个阶段的第一层都对输入进行下采样，同一阶段中的其它网 络层保持相同的卷积核大小和通道数量。 

语义分支

受到 MobileNetV2 和ShuffleNetV2[48]的启发，设计了能够高效计算 的语义分支，用于捕获图像中高级的语义信息。与细节分支不同，该分支仅需 要较小的通道容量就能提供足够的语义信息。

1、快速下采样 Block

在语义分支的初始阶段采用一种快速下采样 Block，在提高特征提取效率 的同时迅速扩大网络的感受野。如图

2、基础 Block

深度可分离卷积以损失极小的精度作为代价带来巨幅的参数量缩减，其计 算方式相较于标准卷积更高效。如果深度可分离卷积在低维度的特征 空间上进行计算，那么提取特征的效率就会下降。因此设计了一种基础 Block，用于高效地捕获特征图的语义信 息。其基本结构如图中a所示：

当网络需要进行下采样时，如图中b所示，本文将深度可分离卷积的 步长调整为 2，短路连接部分增加一个步长为 2 的 3×3 深度可分离卷积和一个 逐点卷积，不仅保持特征图尺寸的一致性，还能在扩大网络感受野的同时进一 步提升特征提取的能力

3、上下文增强

Block 为了进一步增强语义分支输出的语义信息，设计了一种上下文增强 Block。如图所示，该结构使用全局平均池化来捕获特征图的全局信息，同 时采用残差连接来增强输入的特征。

 

4、自适应特征融合模块

在特征提取阶段，细节分支和语义分支的特征表示是互补的，分别具有不 同的关注重点。细节分支用于提取低级的精细特征，而语义分支用于提取高级 的抽象特征。如何有效融合这两种特征成为了提高分割精度的关键。

自适应特征融合模块：

强化器

语义分割网络通常仅使用最后一层生成的损失值进行反向传播，而本章所 提出的双分支轻量级网络中两个分支各自关注不同的信息，如果只使用唯一的 损失值进行反向传播，则网络优化的效率并不高。因此，本章设计了一种强化 器用于对两个分支进行强化训练，它能够在网络的训练阶段强化输出，并且在 推理过程中不使用，所以模型推理的计算量并没有增加。

实现效果图样例

遥感影像语义分割：

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后