语义通信理论必看论文：Towards a Theory of Semantic Communication
目录
-
- 论文简介
- 文章介绍
- 语义通信的模型
- 语义熵
- 提出三个定理
- 知识点
论文简介
-
作者
Jie Bao
Prithwish Basu
Mike Dean
Craig Partridge -
发表期刊or会议
《IEEE Network Science Workshop》 -
发表时间
2011.6
文章介绍
这是一篇较早的关于语义通信理论的文章，可以很好的了解语义通信的历史，其中介绍了语义通信的模型、语义熵、语义压缩边界、语义噪声、信道编码和语义信道容量。可以看到，覆盖的点很多，谷歌学术上显示有150+的文章引用了这篇论文。
语义通信的模型
Weaver(1949年)认为香农的信息论可以扩展到语义和语用级别，例如在香农的通信模型中加入“语义发射机”，“语义接收机”和“语义噪声”。
然而，截止到这篇论文发表(2011年)，语义通信的通用模型仍然很大程度上未被探索(缺乏语义的数学模型)
作者在这篇文章提出了一个语义通信的通用模型：
在讲通用模型之前，首先来看，什么是semantic source：
文章解释到：非正式地，语义源是一个可以使用给定语法发出消息的实体，根据其状态和推理能力，这些消息是“真实的”
（写的不太像人话，个人翻译一下，语义源是一个
实体，具有推理能力，自身状态等等，可以将语法转为消息；可以把语义源想成一个人，依据自己的认知，知识背景对事物进行描述）
回到通用模型，其中语义源是一个元组 ( W s 、 K s 、 I s 、 M s ) (W_s、K_s、I_s、M_s) (Ws、Ks、Is、Ms):
• W s W_s Ws 是源可能观察到的世界模型；
• K s K_s Ks 是源的背景知识库；
• I s I_s Is 是源使用的推理过程；
• M s M_s Ms 是源用来对消息进行编码的消息生成器（语义编码器）。
语义编码器可以根据不同的场景定制不同的编码策略，例如发送最准确的消息，最容易生成的消息或接收端需要的消息等等。与通信原理的发送器类似，语义编码器可以处理如何减少消息中的冗余（信源编码）以及如何提高传输的可靠性（信道编码）不理解
语义编码器的输出可以被视为信源的 interface language不理解
语义编码器的输出将通过传统（即非语义）信道进行传输，其中传统发送器和传统接收器将负责工程编码/解码任务(信道编码、信道解码其实属于传统通信的范畴，跟语义无关)
语义信宿同样是一个元组 ( W r 、 K r 、 I r 、 M r ) (W_r、K_r、I_r、M_r) (Wr、Kr、Ir、Mr):
• W r W_r Wr 是接收器的世界模型；
• K r K_r Kr 是接收者的背景知识库；
• I r I_r Ir 是接收器使用的推理过程；
• M r M_r Mr 是消息解释器（语义解码器）。
请注意，在语义通信中，发送端和接收端会全部或部分共享背景知识库和推理过程，因此会影响语义匹配的结果。
此外，还可能存在从信宿到信源的反馈通道 不理解
文章中举了一个生动的例子，详解见文章III部分
语义熵
在经典信息论（Classical Information Theory,CIT）中，消息的熵由出现该消息的符号的统计概率决定。在经典语义信息理论 (Classical Semantic Information Theory,CSIT)中，语句的熵由其逻辑概率决定，即观察到该语句为真的可能世界的可能性。
文章先推理了 语义熵：
m ( x ) = μ ( W x ) μ ( W ) = ∑ w ∈ W , w ⊨ x μ ( w ) ∑ w ∈ W μ ( w ) m(x)=\frac{\mu\left(W_x\right)}{\mu(W)}=\frac{\sum_{w \in W, w \models x} \mu(w)}{\sum_{w \in W} \mu(w)} m(x)=μ(W)μ(Wx)=∑w∈Wμ(w)∑w∈W,w⊨xμ(w) H s ( x ) = − log 2 ( m ( x ) ) H_s(x)=-\log _2(m(x)) Hs(x)=−log2(m(x))
具体解释见IV.A， 一堆公式看不懂
然后介绍了当存在背景知识库时，语义熵表示为条件逻辑概率：
m ( x ∣ K ) = ∑ w ∈ W , w ⊨ K , x μ ( w ) ∑ w ∈ W , w ⊨ K μ ( w ) m(x \mid K)=\frac{\sum_{w \in W, w \models K, x} \mu(w)}{\sum_{w \in W, w \models K} \mu(w)} m(x∣K)=∑w∈W,w⊨Kμ(w)∑w∈W,w⊨K,xμ(w) H s ( x ∣ K ) = log 2 m ( x ∣ K ) H_s(x \mid K)=\log _2 m(x \mid K) Hs(x∣K)=log2m(x∣K)
具体解释见IV.B，一堆公式也看不懂
举了个小例子(见IV.B)，没有背景知识库和有背景知识库时的语义熵分别为：
H ( W ) = − 4 ∗ 0.25 log 2 ( 0.25 ) = 2 H(W)=-4 * 0.25 \log _2(0.25)=2 H(W)=−4∗0.25log2(0.25)=2 H ( W ∣ K ) = − 3 ∗ 1 / 3 log 2 ( 1 / 3 ) = 1.585 H(W \mid K)=-3 * 1 / 3 \log _2(1 / 3)=1.585 H(W∣K)=−3∗1/3log2(1/3)=1.585
如果信源和信宿不共享背景知识库，那么背景知识库的存在降低了信源的信息量。
然而，如果背景知识库是共享的，语义熵的减少意味着我们可以在不丢失信息的情况下压缩信源。一般来说，在共享背景知识的帮助下，我们将能够使用更少的消息进行交流，以实现信源的最大信息量。
提出三个定理
定理一：语用熵和语义熵的关系
H ( X ) = H ( W ) + H ( X ∣ W ) − H ( W ∣ X ) H(X)=H(W)+H(X \mid W)-H(W \mid X) H(X)=H(W)+H(X∣W)−H(W∣X)
直观上， H ( X ∣ W ) H(X|W) H(X∣W)衡量编码的语义冗余度， H ( W ∣ X ) H(W|X) H(W∣X)衡量编码的语义模糊度。该定理指出，语用熵可以大于或小于语义熵，具体取决于冗余或模糊性是否较大。
具体解释见IV. C
定理二：无损语义压缩
对于具有interface language X X X的语义源，存在一种编码策略来生成语义等效的interface language X ′ X' X′，其语用熵(经典信息论中的熵) H ( X ′ ) ≥ H ( X ) H(X')≥H(X) H(X′)≥H(X)。语用熵 H ( X ′ ) < H ( X ) H(X') < H(X) H(X′)<H(X) 时不存在这样的 X ′ X' X′
为什么是语用熵？个人理解：经过语义编码后生成interface language，然后还会经过信道编码，此时可以用语用熵来衡量
具体解释见IV. D
定理三：语义信道编码
对于每个离散的无记忆通道，语义信道容量为：
C s = sup p ( X ∣ W ) { I ( X ; Y ) − H ( W ∣ X ) + H S ( Y ) ‾ } C_s=\sup _{p(X \mid W)}\left\{I(X ; Y)-H(W \mid X)+\overline{H_S(Y)}\right\} Cs=p(X∣W)sup{I(X;Y)−H(W∣X)+HS(Y)}
之前写的博客解释了这个 文献阅读：Semantic Communications: Principles and Challenges
具体解释见V.B
知识点
-
文章中提到的一些语义通信的问题：
语义如何帮助数据压缩和可靠通信？
语义编码/解码与工程编码/解码问题有何关系？
什么是语义噪声？
语义编码是否存在可实现的界限，类似于香农在工程通信中建立的界限？
我们应该考虑哪些因素来提高语义通信的有效率和可靠性？
放到今天，依然值得思考 -
语义通信的发展：
- 香农 [1] 在1948年发表经典信息论（Classical Information Theory,CIT）。香农的CIT只关注语法层面，因此，“通信的语义方面与工程问题无关”
- Weaver [2] 在1949年，香农提出信息论一年后，提出通信涉及语法、语义和语用三个层面的问题
- Carnap 和 Bar-Hillel [3] 在1952年最早引入“语义信息论”(semantic information theory,SIT) ，此后称为经典语义信息理论 (Classical Semantic Information Theory,CSIT)。
- Floridi [4] 在2004年提出了强语义信息理论（Theory of Strongly Semantic Information,TSSI）。主要动机之一是解决 CSIT 中所谓的 Bar-Hillel-Carnap Paradox (BCP)，该悖论指出矛盾具有无限量的信息
[1] A mathematical theory of communication
[2] The Mathematical Theory of Communication
[3] An outline of a theory of semantic information
[4] Outline of a theory of strongly semantic information
-
经典信息论和语义信息论的不同
经典信息论使用
统计概率来衡量信息量
语义信息论实用逻辑概率来衡量信息量
先验逻辑（逻辑概率）与后验概率（统计概率）