最优传输-离散

参考：
1.运筹千里纵横论坛｜王祥丰：计算最优传输及其应用浅谈
2.最优传输的理论与计算系列讲座之二：Monge-Kantorovich理论

最优传输研究两个分布之间几何的度量，
概率向量a（n维），每个维度上ai>=0，和为1
离散测度：跟概率向量a有关系，和n个点x1…xn有关。

对于离散测度的monge问题，考虑两个离散测度之间的关系，对一个离散测度$alpha$和一个$beta$,希望找到一个映射T，由n维映射扫m维的向量（空间）.建立一个映射T#把离散测度$alpha$映射到离散测度$beta$，对monge不一定能匹配很好。

monge缺点：
1.希望两个点云是相同大小
2.是组合或非凸优化问题
K松弛
核心：之前M不能把ai拆分，K把任何一个点xi对应的质量ai进行分解，分别传输到不同的yj上。
对应的映射转化为一个耦合(couping)矩阵P代替松弛后的关系

对P定义：是nm维，把n维概率向量传输到m维概率向量上，满足所有元素>=0，P乘上m维单位向量要和$alpha$对应的概率向量要相同，同时$P^T$乘上n维全是1的向量要和$beta$对应的概率向量。即P所有的行求和对应向量a，P所有的列求和对应向量n。

是一个有界的集合，n+m个等式约束，是一个凸多面体。
有5个点x1…x5，上面对应有质量a1…a5，希望把这5个点的质量转移到另外三个点y1…y3上。

左边5个是x1…x5对应的质量，x1数2倍的质量，把红色的质量转移到蓝色的质量上。这个53的矩阵就是耦合矩阵P。

目标函数是两个矩阵的内积，C是先验的cost矩阵，另一个是要求的耦合矩阵P，当然P要属于刚才定义的U（a,b）集合。
刻画的就是a这个概率向量到b这个概率向量某一种距离度量。
是一个线性规划，且约束条件是凸多面体，解不一定是唯一的。
好处：
1.容易求解
2.当考虑成指派问题的情形，即a,b是均匀分布的概率向量，都是1/n，K是联系的。

把cost矩阵C替换成D的p次方，计算刚才的最优传输问题，得到的目标函数值，再求一个1/p次方就得到p-Wasserstein距离，最常用的p=1。

在Wasserstein距离下求一个质心
给定一个k个概率分布的集合P，它的Wasserstein质心定义：找另外一个概率分布q，这个概率分布q和这个集合里的所有pk的Wasserstein距离（加权重）求和，来极小化这个问题来得到q。

一般就是考虑这两个问题
1.K松弛下对应的最优传输问题
2.定义了Wasserstein距离后定义Wasserstein质心

应用：
用到distribution，用最优传输，是由多标签学习延伸出来的，一个数据有多个标签。同时预测一个数据所有的标签。
但不关心标签的绝对值（每个维度上值是多少），关心输出的label的相对的重要程度，最后的输出可以是一个概率分布，概率向量。
学习一个映射h，把xi这个数据映射到一个概率分布，要用到最优传输。

应用2：WGAN

应用3：zero-shot learning

如何计算最优传输问题
sinkhron
通过在最优传输问题（线性规划）上加一个熵正则项，就变成了一个强凸的函数，有唯一解

把上述问题转化为等价的投影问题，投影的度量是KL散度，如果矩阵K是exp这样来定义的，找耦合矩阵P距离矩阵K在KL散度意义下最小。

投影满足这样的一个结构，$P_{i,j}$=$U_i{K}_{i,j}{v}_j$，还要满足P是耦合矩阵这样一个约束，要满足下面的式子。

循环求v,u。之后代入求P

看其线性规划的对偶问题，快坐标上升方法，对偶变量f,g
交替计算f,g，得到最优的f,g再得到u,v，再回过去求P。

离散最优传输问题
m个生产者，n个消费者，
$c(p_i,q_j)$ 是个常数，表示$p_i$到$q_j$传递所需要花费的代价
第i个生产者生产总量是$mi{u}_i$,第j个消费者消费总量是$v_j$，第i个生产者向第j个消费者运算$gamm{a}_{i}j$,对每个生产者，送过去的生产总量等于$mi{u}_i$。
对整个传输方案，希望代价越小越好。
都是线性的。

所有可能的$gamm{a}_{i}j$有等式约束和不等式约束，构成凸集，
能量函数是线性函数，与凸多边体相交，最上面交点代表最优传输，最下面代表最差传输。证明了方案存在，最优传输最开始就是线性规划。

对线性规划问题

工厂要最大化收益，变量时x1到xn，另外一个工厂要租用我们的设备，第一种车床要y1元…

这些线性不等式构成一个凸多面体，要使线性函数最大化，即凸多面体上线性能量最大化。

有m种资源，每种资源有对应的报价y，总报价w，要让总报价最小

自己生产利润CX要小于租出去的利润。

2个生产者，3个消费者，左边是原始问题，右边是对偶问题。
一大半DL算右边，因为左边m*n个未知变量，右边m+n个未知变量（影子价格是未知变量）。

第i个生产者影子价格是$fa{i}_i$，第j个消费者影子价格是$pos{i}_j$。

把连续最优传输问题离散化，在原区域$omiga$中离散采样。

Monge问题

Kantarovich问题

映射把一个点映射成一个点，方案可以把一个点映射成多个点

一个生产者可以对应多个消费者

支持集：概率密度大于0的部分。