Pinsker 不等式证明(Proof of Pinsker‘s Inequality)

防盗:Proof of Pinsker’s Inequality/ Pinsker’s 不等式证明_Set_____的博客-CSDN博客

1. Statement:

其中, 不等号左侧等价于 , 关于 KL散度可以看这篇介绍: KL Divergence 与 JS Divergence_Set_____的博客-CSDN博客

不等号右侧等价于  , 其中 是分布PQ之间的Total Variation Distance, 记为 TV 距离, 关于 TV 距离可以看这篇的介绍: Total Variation Distance 总变差 - 知乎

需要注意的是不等式右侧的常数  : 当 KL 散度中的 log 是以 e 为底时, 这个常数为 ; 当 KL 散度中的 log 是以 2 为底时, 这个常数为 , 所以你们在网上会看到不同形式的 Pinsker’s Inequality.

2. 证明:

首先给出2.1的结论, 然后使用这个结论进行证明

2.1 KL散度的链式法则(Chain rule for KL divergence)

如果 , , 那么有

.

2.2 证明

Pinsker 定理等价于:

P, Q 是定义在 universe U 上的两个分布, 那么

证明:

1) a special case

假设 , 令

当时, , 且, 所以当, 有

2) a general case

令 , 且 , 且: 

那么:

 ---- (1).

定义一个随机变量 Z, 且 Z 满足: 

有:

因为:

 且 

结合(1)和special case有: