语义熵：QoE-Aware Resource Allocation for Semantic Communication Networks

---

论文简介

• 作者
  Lei Yan
  Zhijin Qin
  Rui Zhang
  Yongzhao Li
  Geoffrey Ye Li

• 发表期刊or会议
  《GLOBECOM》

• 发表时间
  2022.12

---

语义熵的意义

  信息熵衡量整个事件空间包含的平均信息量，而语义熵则直接量化信源的语义信息。然而，仍然缺少通用的语义信息度量，并且大多数现有度量都是不可计算的。

  信息熵的定义参考： 信息量与信息熵

  [引出问题：语义通信成功与否的判断标准，是否有统一的指标衡量？还是说，语义通信正确的判断标准，本就不该基于对语义的量化来进行考核？]

---

语义熵的定义

  该论文认为信源的语义信息取决于具体的任务，语义熵与信源和任务相关。参考Chattopadhyay[1]，该文章将语义熵定义为：

  定义1： 给定语义源$\mathcal{X}$ ，语义熵定义为 足以预测任务$Y$的数据$X$的语义符号的最小预期数量(其中$X\in \mathcal{X}$)，即
$$\begin{array}{rl}& H(X;Y)\triangleq \underset{E_{\mathrm{S}}}{\min }\mathbb{E}\left(\dim \left({\mathrm{Code}}^{E_{\mathrm{S}}}(X)\right)\right)\\ & \text{ s.t. }P\left(Y\mid {\mathrm{Code}}^{E_{\mathrm{S}}}(X)\right)=P(Y\mid X),\end{array}$$

  其中，${Code}^{E_{\mathrm{S}}}(X)$表示由语义编码器$E_S$从$\mathcal{X}$中提取的语义符号向量，$P(Y|X)$是给定$X$时$Y$的条件概率。

  从定义1来看，给定任务$Y$时，$X$的语义熵实际上被定义为整个数据集$X$的期望值，即语义熵对于相同的任务和数据集是一个常数 [不理解]

  然而，找到一个最优的$E_S$来推导语义熵是很困难的。为了获得既有意义又可操作的度量，我们利用精心设计的深度学习（DL）模型作为语义编码器来获取任务的近似语义熵，可以表示为：

$$\begin{array}{c}\tilde{H}(X;Y)\triangleq \min \mathbb{E}\left(\dim \left({\mathrm{Code}}^{E_{\mathrm{DL}}}(X)\right)\right)\\ \text{ s.t. }P(Y\mid X)-P\left(Y\mid {\mathrm{Code}}^{E_{\mathrm{DL}}}(X)\right)<\epsilon ,\end{array}$$
  其中约束表明 $P(Y\mid X)$ 和 $P\left(Y\mid {\mathrm{Code}}^{E_{\mathrm{DL}}}(X)\right)$之间的差距不能超过 $\epsilon$。

  根据上述方法，可以基于相应的深度学习模型离线导出所考虑任务的近似语义熵。具体来说，我们首先从 DeepSC 和 DeepSC-VQA 中删除通道模型，然后在不同的语义符号数量设置下对它们进行训练 [改变语义编码器中的一个参数来改变语义符号的数量吗？]，最后找到可以保证性能非常接近上限的最小语义符号数量

[1] Quantifying task complexity through generalized information measures

---