布雷格曼散度

今天来讲一个比较重要的概念，叫做Bregman Divergence，即布雷格曼散度，是一种类似距离度量的方式，用于衡

量两者之间差异的大小。接下来会重点进行探讨

 

Contents

 

   1. 布雷格曼散度的认识

   2. 布雷格曼散度的性质

   3. 布雷格曼散度与指数分布族

 

 

1. 布雷格曼散度的认识

 

   Bregman散度是损失或者失真函数。考虑如下情况：设点是点的失真或者近似的点，也就是说可能是由添

   加了一些噪声形成的，损失函数的目的是度量用近似近似导致的失真或者损失，因而Bregman散度可以用作相

   异性函数。给定一个严格的凸函数，由该函数生成的Bregman散度通过下面的公式给出

 

   

 

   其中是在上计算的梯度，是向量与向量的差，是与的

   内积，对于欧几里得空间里的点，内积就是点积。

 

   上述公式中后半部分为，代表函数在点附近的线性部分，而Bregman散

   度是一个函数与该函数的线性近似之间的差，选取不同的可以得到不同的Bregman散度。

 

 

2. 布雷格曼散度的性质

 

   在文章开始处提到了Bregman散度是一种类似距离度量的方式，但是与一般距离相比它有两大特性

 

   （1）不满足三角不等式，即对所有的，和，下面的不等式不一定成立

 

        

 

   （2）不满足对称性，即对所有和，下式不一定成立

 

        

 

   除了上述性质之外，Bregman散度还有其它的性质，可以参考如下链接

 

   链接：http://blog.sciencenet.cn/blog-795427-671573.html

 

    

3. 布雷格曼散度与指数分布族

 

   关于这一节的内容详细参考这里。

 

   在之前的NMF分解中除了用欧几里得距离度量误差之外，也提到过K-L散度度量误差，也就是用的本文所述方法。