最优传输系列（二）：熵正则、对偶问题与Sinkhorn算法

熵正则

• 考虑加入熵正则化的Kantorovitch问题。
• 目标是得到使得成本最低的$r(i,j)$：
  
• 其中，$h(r)$定义如下：
  
  这是论文中的写法，还有一种写法是：
  $h(r)=-\sum _{i,j}r(i,j)(log(r(i,j))-1)$
  可以看出二者之间差了一个-1，但是据说第二种方法具有计算上的优越性，具体为什么，且看下文。

对偶问题

• 使用对偶问题来解决上述问题，即在约束下求得最低成本。这是标准的适合对偶问题的场景。
• 对于对偶问题不熟悉的可以移步我的系列博客：https://blog.csdn.net/qq_41076797/article/details/112676195
  共6篇。
• 首先拉格朗日乘数法公式如下：(此后的$P(i,j)$即是$r(i,j)$)
  
  由于偏导数为0，所以可得：
  
  有人说：
  
  但我算不出上面说的结果，但又确实有这个公式，此处有些疑问，希望评论区有大佬解答。
  不管怎么说，得到了上面的式子，可以进一步得到
  $P_{i,j}=e^{f_i/\epsilon }{e}^{-C_{i,j}/\epsilon }{e}^{g_j/\epsilon }$
  设$K_{i,j}=exp(-C_{i,j}/\epsilon )$，${\mu }_i=e^{f_i/\epsilon }$和${\nu }_j=e^{g_j/\epsilon }$
  利用对偶问题帮我们到这里了，下面我们是要求$P_{i,j}$的，我们是通过计算${\mu }_i$和${\nu }_j$从而计算出$P_{i,j}$的，当然知道了${\mu }_i$和${\nu }_j$也可以求$f_i$等，如$f_i=\epsilon log{\mu }_i$，所以下面就是求${\mu }_i$和${\nu }_j$。

Sinkhorn

• ${\mu }_i$和${\nu }_j$是通过Sinkhorn算法算的。
• 根据上面的计算我们得到：
  $P_{i,j}={\mu }_i{K}_{i,j}{\nu }_j$
• 由由于约束条件：
  
  则有：
  
  即：
  
  这里$\odot$是矢量的哈达马积（Hadamard product），也就是元素对应的乘积。这一对等式已经属于一类叫做matrix scaling的数学问题，于是可以通过迭代方式（Sinkhorn就是通过迭代）求解。
  综上：
  
  下面是Sinkhorn算法的内容：
  
  解释一下，先初始化$\nu$，是m个1组成的向量，既然先初始化了$\nu$，那我们就先计算$\mu$（第一个计算的是${\mu }^1$），然后计算${\nu }^1$，以此类推，一直迭代，直到收敛（即两次的差值小于某个阈值）。
  下图展示了Sinkhorn的原理：
  
  可以清楚地看到，Sinkhorn算法从初始化状态向最优解转变。

引用

• https://blog.csdn.net/Utterly_Bonkers/article/details/90746259?spm=1001.2014.3001.5502
• https://blog.csdn.net/Hungryof/article/details/110549879