【综述003】面向未来的语义通信：基本原理与实现方法

摘要

0.引言

• 张平：提出“智简（Intellicise）”理念，提出模型驱动的语义通信框架，实现通信系统由传统传输比特演进为传输“模型”。如：语义基（Seb）
• 牛凯：研究了从经典通信到语义通信的范式转变，提出了语义通信系统的基本框架
• 石光明：提出了语义通信的基本框架，探讨了语义信息表征与压缩编码问题
• 秦志金：探讨了深度学习赋能的语义通信理论、框架和系统模型，提出了任务驱动的多用户语义通信框架

1 语义通信模型与理论

1.1 系统模型

传统模型：信源–>语法编码器—>物理信道------>语法译码器------>信宿

语义通信模型：

• 语义知识库：从信源或信宿中提取语义背景知识，从信道传播环境中提取语义特征知识，背景/特征知识作为先验信息为语义编/译码提供辅助指导。**语义表示方法：**知识图谱、语义标签、下游任务相关知识、经过训练/优化的参数模型或非参数模型、信道模型及传播环境特征
• 语义编码器：在语义知识库的辅助下，提取信源消息的语义相关特征和传输任务有关的特征。指导语法编码器对语义特征进行适当的编码，从而抗干扰和噪声。
• 语义译码器：根据信宿的传输需求，语义译码器选择重建信源消息。
• 信道与信宿：包含物理信道与语义信道。语义信道：对语义信息传输中的差错与损失进行建模

语义通信流程：

1. 语义编码器通过深度神经网络提取语义特征
2. 语法编码器对语义特征编码，产生物理信道传输的符号
3. 语法译码器恢复语义特征空间的语义特征
4. 语义译码器：利用重建的语义特征进行合成、增强，最终生成原始图像

1.2 语义通信系统概念与术语

语义通信优势：

• 深度挖掘——借助神经网络的非线性信息处理能力，突破对信息处理层次的限制
• 广度扩展——通信应用范畴。语义传输的可靠性取决于人的主观感受或者下游任务的各种性能指标，能灵活适应不同应用场景及传输条件
• 方法创新——系统端到端优化
  

1.3 语义信息论简述

信源集合：U
语义信息集合：S
语义知识库：K=T∪W T:信源语义集合 W：信道语义集合
语法信息集合：X
接收到的语法信息：Y
接收到的语义信息：S^
最后重建的信宿消息集合：V

1. 语义熵：给定信源语义集合T∈U，对 t∈T，其概率分布为p(t),由符号生成的语义信息s∈S，映射函数φ(s|t)，则语义熵表示为：
2. 互信息：接收方所获得的语义信息量
3. 平均语义失真：
4. 语义信道容量：

平均语义失真不超过 Es 的语义信源集合：
5. 语义率失真函数：平均语义失真不超过 Ds 条件下的最小编码速率

平均语义失真不超过 Ds 的语义信道集合：

2. 语义编码传输方法

2.1 直接编码方法

基本思路：采用神经网络，直接从信源序列中提取语义特征并映射为信道中的传输符号，属于信源信道联合编码。

• Bourtsoulatze等 对图像和视频利用深度神经网络实现端到端DeepJSCC
• Tung 等 在DeepJSCC基础上添加了调制模块，提出数字通信的模型DeepJSCC-Q
• Xie等 提出语义通信方案DeepSC.针对文本信源采用神经网络提取语义特征，采用信源信道联合编码/解码 在接收端恢复
  

2.2 变换编码方法

基本思路：信源向量不直接映射到语义编码序列，而是首先进行非线性解析变换，提取隐向量表示，然后在隐空间中进行信源信道联合编码

• Ballé等 提出了非线性编码方案，应用于端到端图像压缩、语义波形编码，有显著优势
• Dai等 提出非线性变换信源信道联合编码（NTSCC）框架，建立了变换语义编码传输的基本优化准则。应用于无线图像的语义传输、语音语义编码和传输、工业互联网场景数据处理，性能更好。