Csiszár divergences

Csiszár divergences

熵函数

熵函数（entropy function) $\phi :{\mathbb{R}}_{++}\to {\mathbb{R}}_{+}$，他是凸函数，正的（？），下半连续函数，并且$\phi \left(1\right)=0$
${\phi }_{\infty }^{\prime }={\lim }_{x\to \infty }\frac{\phi \left(x\right)}{x}$

性质

设${\phi }^{\ast }$是熵函数的共轭函数，则

1. $\partial \phi \subset {\mathbb{R}}_{+}$,即${\phi }^{\ast }$单调不减
2. $\mathrm{dom}{\phi }^{\ast }=\left(-\infty ,{\phi }_{\infty }^{\prime }\right)$
3. $\underset{q\to -\infty }{\lim }{\phi }^{\ast }\left(q\right)=-\phi \left(0\right),\underset{q\to +\infty }{\lim }{\phi }^{\ast }\left(q\right)=+\infty$

证明：
设$q<q^{\prime }$,
由于$\mathrm{dom}\phi ={\mathbb{R}}_{++}$，有$xq-\phi \left(x\right)\le x{q}^{\prime }-\phi \left(x\right)$
两边同时取$\sup$，即可证明1

若${\phi }_{\infty }^{\prime }<\infty$, 并且$q>{\phi }_{\infty }^{\prime }$, 则${\lim }_{p\to \infty }\left(pq-\phi \left(p\right)\right)={\lim }_{p\to \infty }p\left(q-\frac{\phi \left(p\right)}{p}\right)=+\infty$,也就是说$q\notin \mathrm{dom}\left({\phi }^{\ast }\right)$
若${\phi }_{\infty }^{\prime }=\infty$，则，对于$\forall q\in \mathbb{R}$ , ${\lim }_{p\to \infty }p\left(q-\frac{\phi \left(p\right)}{p}\right)=-\infty$,
也就是说，关于$p$是一个强制函数，进而${\phi }^{\ast }\left(p\right)$有限，即$q\in \mathrm{dom}\left({\phi }^{\ast }\right)$

显然${\phi }^{\ast }\left(q\right)\ge -\phi \left(0\right)$
当$q\to -\infty$, 若$p>0$，则$pq-\phi \left(p\right)\to -\infty$,因此$\underset{q\to -\infty }{\lim }{\phi }^{\ast }\left(q\right)=-\phi \left(0\right)$
当$q\to +\infty$，${\phi }^{\ast }\left(q\right)\ge q\times 1-\phi \left(1\right)=q$, 进而$\underset{q\to +\infty }{\lim }{\phi }^{\ast }\left(q\right)=+\infty$

定义

考虑数据定义在空间$\mathcal{X}$上，正测度集${\mathcal{M}}^{+}\left(\mathcal{X}\right)$
Radon-Nikodym-Lebegue decomposition, $\alpha =\frac{\mathrm{d}\alpha }{\mathrm{d}\beta }+{\alpha }^{\perp }\forall \left(\alpha ,\beta \right)\in \mathcal{M}\left(\mathcal{X}\right)$
熵函数$\phi$，其中定义$\forall x<0,\phi \left(x\right)=+\infty$

则Csiszár divergences定义为
$${\mathrm{D}}_{\phi }(\alpha \mid \beta )\triangleq {\int }_{\mathcal{X}}\phi \left(\frac{\mathrm{d}\alpha }{\mathrm{d}\beta }(x)\right)\mathrm{d}\beta (x)+{\phi }_{\infty }^{\prime }{\int }_{\mathcal{X}}\mathrm{d}{\alpha }^{\perp }(x)$$
离散版本
$${\mathrm{D}}_{\phi }(\mu \mid \nu )\triangleq \sum _{{\nu }_i>0}\phi \left(\frac{{\mu }_i}{{\nu }_i}\right){\nu }_i+{\phi }_{\infty }^{\prime }\sum _{{\nu }_i=0}{\mu }_i$$