ADMM算法学习

参考博客：https://blog.csdn.net/angel_yj/article/details/40587543

该博客是基于Stephen Boyd 2011年的文章《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》进行的翻译和总结。

论文Distributed Very Large Scale Bundle Adjustment by Global Camera Consensus中提出了一种大场景的分布式保证全局相机一致性的BA方法，其中用到了ADMM，所以学习一下。

基础知识：

在强对偶性假设下，即最小化原凸函数（primal）等价于最大化对偶函数（dual），两者会同时达到optimal。可以通过求对偶函数来计算。但条件苛刻，要求严格凸，并且要求选择有比较合适；但是他有一个非常好的性质，当目标函数是可分的（separable）时候（参数抑或feature可分），整个问题可以拆解成多个子参数问题，分块优化后汇集起来整体更新。这样非常有利于并行化处理。但是他有一个非常好的性质，当目标函数是可分的（separable）时候（参数抑或feature可分），整个问题可以拆解成多个子参数问题，分块优化后汇集起来整体更新。这样非常有利于并行化处理；为了放松对于严格凸的假设和其他一些条件， Augmented Lagrangians and the Method of Multipliers（参考：https://blog.csdn.net/fangqingan_java/article/details/50001843

       https://blog.csdn.net/deepinC/article/details/79344981），加了后面的惩罚项的好处是使得对偶函数在更一般的条件下可导。计算过程与之前的dual ascent基本一样，除了最小化时候加了扩增项。加了后面的惩罚项的好处是使得对偶函数在更一般的条件下可导。计算过程与之前的dual ascent基本一样，除了最小化时候加了扩增项；ADMM是将对偶上升法的可分解性和乘子法的上界收敛属性融合在一起的算法。

算法简介：

求解

参考博客：

http://www.cnblogs.com/breezedeus/p/3496819.html  （很清楚）

https://blog.csdn.net/shanglianlm/article/details/46808793