【图像编码】基于信息熵理论的端到端图像编码中熵编码的概率估计

信息熵理论和概率模型

信息熵知识

独立熵: H ( X ) = − ∑ x ∈ X log ⁡ P ( x ) 独立熵:H(X) = -\sum_{x \in X} \log P(x) 独立熵:H(X)=xXlogP(x),表示X的不确定性
条件熵: H ( Y ∣ X ) = − ∑ x ∈ X ∑ y ∈ Y P ( x , y ) log ⁡ P ( y ∣ x ) 条件熵:H(Y|X) = -\sum_{x \in X} \sum_{y \in Y} P(x, y) \log{P(y|x)} 条件熵:H(YX)=xXyYP(x,y)logP(yx),表示在已知 X 的情况下,Y 的不确定性。
联合熵: H ( X , Y ) = H ( X ) + H ( Y ∣ X ) = H ( Y ) + H ( X ∣ Y ) 联合熵:H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y) 联合熵:H(X,Y)=H(X)+H(YX)=H(Y)+H(XY)
互信息: I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) 互信息:I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) 互信息:I(X;Y)=H(X)+H(Y)H(X,Y)=H(X)H(XY)=H(Y)H(YX)
如果X与Y独立,则互信息为0
在这里插入图片描述
参考文章:信息论(3)——联合熵,条件熵,熵的性质
【图像编码】基于信息熵理论的端到端图像编码中熵编码的概率估计_第1张图片

简单理解条件熵:条件越多,事件的不确定性就越小,熵就越小

概率模型

采用的是均值为0,方差为 σ \sigma σ的高斯概率模型

高斯概率模型公式(正态分布模型):
p ( x ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 p(x) =\frac{1}{\sqrt{2{\pi}{\sigma}^2}} e^{-\frac{(x-{\mu})^2}{2{\sigma}^2}} p(x)=2πσ2 1e2σ2(xμ)2
其中, x x x 是随机变量的取值, μ \mu μ 是均值(期望), σ \sigma σ 是标准差。公式中的 e e e 是自然对数的底数

深度学习熵编码演进

1. 2017 Factorized Prior(独立熵编码)

[1] Ballé, Johannes, et al. “End-to-end optimized image compression.” in ICLR. 2017.

下式为估计的平均码长。
只有概率估计的越准,才能逼近平均码长的理论下限值—— y ^ \hat{y} y^的独立熵在这里插入图片描述

【图像编码】基于信息熵理论的端到端图像编码中熵编码的概率估计_第2张图片

2. 2018 Scale Hyper Prior(条件熵编码)

[2] Ballé, Johannes, et al. “Variational image compression with a scale hyperprior.” in ICLR. 2018.

这篇工作其实是利用 y ^ \hat{y} y^的条件概率来编码 y ^ \hat{y} y^,条件概率进一步挖掘了 y ^ \hat{y} y^空间相关性,此时平均码长的理论下限值是—— y ^ \hat{y} y^的条件熵

在这里插入图片描述

【图像编码】基于信息熵理论的端到端图像编码中熵编码的概率估计_第3张图片

3. 2018 Joint Autoregressive Hierarchical Prior

[3] Minnen, David, et al. “Joint autoregressive and hierarchical priors for learned image compression.” in NeruIPS. 2018.

  • Auto-encoder:学习量化的图像隐式特征,称为latent

  • 概率估计模块:学习量化后的latent的概率模型用于熵编码

    • Context model(上下文模型):latent的上下文自回归模型。利用的是已解码的数据,当前解码字符之前的(

    • Hyper-network(超先验网络):学习有用的表征信息来修正上下文预测

    • Entropy Parameters network(熵参数网络):结合上面两个模块的信息来生成条件高斯熵模型的参数(均值+方差)

理解context model中的两根线

  • 从Q出来的线:编码时用的 y ^ < i \hat{y}_{y^<i

  • 从AD出来的线:解码时用的 y ^ < i \hat{y}_{y^<i
    【图像编码】基于信息熵理论的端到端图像编码中熵编码的概率估计_第4张图片

你可能感兴趣的:(图像视频编码,论文精读,视频编解码)