【005】基于深度学习的图像语 通信系统

摘要

语义通信是一种新颖的通信方式，可通过传输数据的语义信息提高带宽效率。提出一种用于无线图像传输的系统。该系统基于深度学习技术开发并以端到端（E2E）的方式进行训练。利用深度学习实现语义特征的提取和重建，在发送端提取信源信息不同类型和不同形式的语义特征，在接收端融合各类型语义特征进行目标语义恢复。仿真结果表明，与基准模型相比，所提模型在信道环境恶劣的情况下，具有更好的重建精度。

0. 引言

1. 【22】一种基于深度学习的无线图像传输系统， 实 现基于E2E的JSCC，使用峰值信噪（PSNR） 和结构相似性指数 （SSIM）测量重建图像的质量。
2. 【25】开展了物联网 （IoT） 设备用于图像传输的研究，通过将两个 DNN 的联合传输识别方案部署在设备端，在识别精度上比传统方案更好。
3. 【26】提出了联合特征压缩和传输系统，以处理边缘服务器上有限的计算资源。该方案提高了E2E可靠性，降低了计算复杂度。
4. **【28】**文献[28]提出了一种新的航空图像传输范式，在无人机端部署一个轻量级模型，用于感知图像和信道条件的语义传输模块，在接收端通过计算能力更强的基站对收到的信息进一步处理，提高分类精度。
5. 【29】提出了基于深度学习的用于传输单模态和多模态数据的多用户语义通信系统，通过在编码器和解码器层之间添加连接来融合多模态数据，实现图像检索和视觉问答等功能。

1. 语义系统模型

1.1 编码器

组成：语义特征提取器、联合语义信道编码器
步骤：
（1）编码器的输入图像S由归一化层预处理，使得每个元素都在[0,1]范围内
（2）通过多个基于神经网络的多级语义特征提取器提取输入图像的不同语义特征
（3）利用联合语义信道编码器将语义特征编码为符号，通过物理通道传输到接收器，传输向量x：x = Tβ (Tα (S) )，Tα (⋅)为多级语义特征提取网络；Tβ (⋅)为联合语义信道编码器，网络参数为α，β。

1.2 解码器

组成：联合语义信道解码器、图像重建模块
步骤：
（1）联合语义信道解码器减轻信号在 AWGN 信道的噪声干扰，并恢复多级语义特征
（2）图像重建模块融合不同层次的语义信息并重建目标图像
（3）反归一化层将每个元素重新缩放为图像像素值 （0～255）。

目标：最小化输入图像S和重建图像 Ŝ之间的平均误差
评估语义失真：均方差 （MSE），，d(S,Ŝ) = 1/n ||S − Ŝ||^2为均方误差分布，N为样本数。

2. 多级图像语义通信模型

高级语义信息：图像的抽象性和通用性
低级语义信息：图像的局部细节语义信息

2.1 多级语义特征提取器

提取器包含三个模块：语义特征提取器、分割特征提取器、低级特征提取器

• 不同模块分别提取不同层级和不同形式的图像语义信息

1. 语义特征模块：包含一个预训练的图像字幕模型（ResNet-152模型+LSTM组成），用于提取图像文本形式的高级语义信息（文本嵌入信息）
2. 分割特征模块：通过预训练的图像分割模型获取图像分割形式的高级语义信息
3. 低级特征模块：主要用于图像细节特征的提取，为高级语义信息做细节补充，实现更丰富的信息重构

• 联合部分：通过concatenate按通道维度将归一化图像和分割特征相结合，并输出
• 直取部分：直接输入归一化后的图像特征

2.2 联合语义信道编解码

提取处理的特征包含：文本形式特征p，图像分割特征a、联合特征f、图像归一化低级特征

2.3 图像重建模块

（1）首先借助双特征融合模块对两种形式的高级语义特征进行融合
（2）通过像素上采样模块对特征信息升维
（3）将相同维度的高级语义信息和低级细节补充信息进行级联操作，通过残差网络对融合后的信息进行提取并重建目标图像

3. 仿真结果与分析

3.1 仿真参数

1. **数据集：**MSCOCO、ADE20K
   语义特征模块：使用带有文本标签的MSCOCO数据集训练
   系统其余部分：使用带有分割标签的ADE20K数据集训练
   测试提出的图像无线通信系统：Kodak图像数据集
2. AI模型：Pytorch, 使用Adam算法优化，学习率设置为 0.0001，批次大小设置为 32，下采样因子t = 8