文献阅读：Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges

---

传统通信

---

面向语义的通信(Semantic-Oriented Communications)

Semantic-Oriented Communications在编码之前引入了一个语义表示(semantic representation)模块，负责捕获在信源数据中嵌入的核心信息，过滤掉不必要的冗余信息。

在许多研究中，语义表示(semantic representation)和语义编码(semantic encoding)的功能被集成到一个称为语义编码(semantic encoding)的模块中，它共同发挥着类似于传统通信中信源编码的作用；

同样的，语义推理(semantic inference)和语义解码(semantic decoding)的组合作用等同于信源解码

此外，与人类对话一样，有效的对话需要对彼此的语言和文化有共同的了解。在语义通信中，需要实时共享通信双方的本地知识(local knowledge)，以确保理解和推理过程能够很好地匹配所有信源数据。如果局部知识不匹配，即使在物理传输过程中没有句法错误，也会产生语义噪声，导致语义歧义。

---

面向目标的通信(Goal-Oriented Communication)

在面向目标的通信(goal-oriented communication)中，有必要捕捉语用信息，侧重于语用层面。

Semantic-Oriented Communication和Goal-Oriented Communication的不同：

区别一：
和Semantic-Oriented Communication相比，面向目标的通信引入了通信目标(communication goal)。communication goal在两个地方起作用，其一是语义提取部分(即语义编码那块)，其二是communication goal必须包含在通信双方的local knowledge中，这有助于在communication goal频繁变化时进一步过滤掉每次传输中不相关的语义信息。

不同任务所需的图像特征（即语义信息）是不同的，例如分类、检测或复制。因此，在具有多个任务的传输系统中，在goal-oriented communication中，对于某个任务，每次可能只需要传输图像的局部特征。相反，在Semantic-Oriented Communication中，提取的语义信息应该包括所有可能任务的特征，这不可避免地导致信息冗余和传输过程中的资源浪费。例如，在图中，goal-oriented communication中针对不同任务只用传输部分特征，红绿灯或车轮廓或限速标；但Semantic-Oriented Communication需要全部传输。

区别二：
对于Semantic-Oriented Communication，系统的输出是所传输消息的恢复含义。然后，接收方根据接收到的消息的含义进行下一步操作，但在通信系统的设计中没有考虑这个过程。相反，goal-oriented communication的输出是要执行的直接动作。在goal-oriented communication中，推理模块的输出是动作执行指令，例如加速、制动、方向盘的角度、闪烁的大灯，以响应行人、路障和交通信号状态的变化。

---

语义感知通信(semantic-aware communications)

Semantic-Oriented Communications和Goal-Oriented Communication属于传统的面向连接的通信，其中很容易根据他们打算通信的内容明确地告诉一对信源和信宿agent；相比之下，本文中的semantic-aware communication是指在面向任务的通信中发挥作用的语义通信，例如自动驾驶和无人机群

面向任务(是任务task，不是目标goal)的通信中，多个agent以集中或分布式的方式协作完成任务，任务中的Semantic-Oriented Communications以主动或被动的方式在不同终端之间建立多个显式或隐式连接，以增强agent之间的知识。换句话说，Semantic-Oriented Communications可以被视为任务的一种“开销”，以便更好地协作以促进任务的完成。在Semantic-Oriented Communications中，这里的SI(语义信息)是通过分析agent行为和执行任务时的当前环境得到的，而不是从数据源中提取。例如，在自动驾驶中，SI 可以表示两辆车发生碰撞的风险，这是由车辆位置和运动学信息、交通密度、道路状况、红绿灯部署等共同确定的。

在Semantic-Oriented Communications中，可能没有明确的收发器或完整的成对语义编码和解码过程。因此，目前还没有一个通用的Semantic-Oriented Communications系统模型。

---

语义提取技术与挑战(SEMANTIC EXTRACTION AND CHALLENGES 很明显，我的研究不在这块)

• 面向语义的通信(Semantic-Oriented Communications)

  I. 基于深度学习的语义提取
   ① 视觉数据(图片、视频)
   ② 文本数据
   ③ 语音数据
   ④ 多模型(Multimodel)数据

  II. 基于强化学习的语义提取
   深度学习对损失函数可微有严格要求，强化学习被视为一种有前途的替代方案

  需要什么去论文里看 Sections III-A and III-B

• 面向目标的通信(Goal-Oriented Communication)

  I. knowledge-based的语义提取
   看论文这块像是在描述知识库如何构建

  II. Semantic-Native的语义提取
    基于深度学习、基于强化学习和knowledge-based的语义提取都依赖于基于大量标记数据的训练有素的神经网络，这使得它们仅适用于具有不变语义信息的通信系统。
    因此，它们对于语义随时间或通信上下文变化的场景无能为力，而这种场景在现实生活中更为常见。 具体来说，要将“被动学习”转变为“主动学习”。
    这被称为紧急通信(emergent communication)，其中语义和面向目标的表示不是预定义的，需要在多个智能代理的迭代通信期间学习

  需要什么去论文里看 Sections III-C and III-D

• 语义感知通信(semantic-aware communications)

    语义感知通信中没有通用的语义提取方法，给出两个典型示例，以说明将semantic awareness引入通信的动机

---

语义信息的传输与挑战(研究有可能从这里展开)

• 一、无线环境
  无线信道的衰落对数据传输的稳定性有很大的负面影响。在传统的通信系统中，信源编码和信道编码被认真设计以对抗信道衰落。在 SemCom 系统中，在 AI 的帮助下，信源编码和信道编码可以更紧密地连接。JSCC有利于基于 DL 的通信系统中的数据传输 。然而，基于AI的方法目前无法用明确的数学表达式来解释。SemCom 系统设计人员必须考虑如何在复杂多变的无线环境与精密的 SemCom 机制之间建立联系。

  $1)$ 变化的信道模型
  ① Fixed channel layer modeling
    信道被建模为在整个训练过程中使用的固定衰落模型，例如AWGN、Rayleigh信道和 Rician信道等。
  ② Generative channel layer modeling
    利用对抗神经网络模拟信道

  $2)$ 不确定的SNR
    SNR 的不确定性来自噪声和干扰，以及发射功率的变化。在 SemCom 模型的训练中通常采用固定 SNR 方法，我们需要考虑 SNR 的变化是否会对性能产生负面影响。
    如何保证训练出来的语义模型能够适应多变的SNR，这个问题还有待更好的解答

  $3)$ 比特差错
    受传统通信系统中纠错算法的启发，研究人员为 SemCom 设计了几种纠错方案，以最大限度地减少 SI 的传输错误

• 二、有限的网络资源

  传统通信系统中的资源分配框架旨在最小化误码率、误包率和中断概率等指标。然而，语义通信不再关注比特。通常，在资源分配方案的设计中，应该考虑QoS(quality of service，基于服务质量)和QoE(quality of experience,基于用户体验质量)以构建有效的系统。具体来说，QoS 旨在优化传输速率、延迟和吞吐量，而 QoE 侧重于用户满意度、清晰度和流畅性。

  $1)$ 带宽资源
    SemCom 应考虑 SI 的不均匀分布，应将更多带宽分配给具有更多 SI 的数据/代理。一种可能的解决方案是在训练过程中联合执行带宽分配
    将带宽动态分配与语义内容传输相结合的问题尚未得到充分研究。在一些不需要训练的SemCom系统中，需要设计带宽分配方案，为更重要的传输内容分配更多的带宽，以保证信息质量

  $2)$ 能源资源
    分配更多的能量来传输包含更丰富的 SI 的数据，确保了能量的有效利用。然而，目前语义度量在能源资源分配中的应用还处于早期阶段。

• 三、异构网络设备
  多个异构设备工作在一个SemCom网络中，设备硬件和无线环境的差异给系统建设带来挑战

  $1)$ 设备容量
    SemCom 网络中开发有效的方法来平衡异构设备的性能和成本要求是重要的挑战之一。A Lite Distributed Semantic Communication System for Internet of Things中的作者试验了模型压缩以减小模型的大小。

  $2)$ 物联网设备之间的连接
    对于包含多个智能设备的SemCom网络，我们需要根据不同设备的不同无线链路环境来设计网络。

  $3)$ 编解码方案
    编解码方案需要根据SemCom网络中不同用户的各种信道情况进行改进。

---

语义性能指标和挑战

传统的通信系统，通信性能往往从不同的网络层分别通过 BER、QoS 和 QoE 等指标来评估；在 SemCom 中，评估主要集中在Error-based、AoI 和 VoI；

• Error based语义度量
  SemCom中Error based的指标关心的是发射端表达的意思是否等同于接收端理解的意思。可用的语义指标都是针对特定任务的，还没有的通用指标。

  

• AoI-Based语义度量(AoI,age-of-information)
    通信中的语义信息强调时间敏感性。这为语义信息的准确性引入了新的维度，即正确的时间。
    与延迟指标不同，AoI-Based语义度量主要衡量传输性能而不关心数据包的内容，基于 AoI 的指标用于量化在目的地接收到的信息的陈旧性。
    基于 AoI 的指标仍然存在固有缺陷，即它们忽略了恢复数据的有效性。

• VoI-Based语义度量(VoI,value-of-information)
  VoI主要用于衡量一条信息与通信任务的相关性。换句话说，VoI 可以看作是 SI 对effectiveness (不知道该怎么翻译，是有效性还是语用)的量化贡献。

---

未来6G互联网的语义通信

• SemCom 在 6G 中的潜在应用

  

• SemCom 赋能的 6G 架构

  
  这篇论文看过，参考 文献阅读：迈向6G智简网络——基于语义通信的网络新范式

---

未来发展方向

• 语义提取的可解释性
• 语义提取准确性和通信开销之间的权衡 (重点思考)
• SemCom与语义缓存的结合(挺有意思)
• 隐式SemCom中的推理
• SemCom信道管理中的人工智能(信道建模)
• SemCom 性能和安全性之间的权衡