Convex Relaxation, Convex Conjugate, L1 & L0 norm, rank & nuclear norm
了解机器学习的人应该都知道,在优化非凸函数的时候,希望用一个凸函数来代替这个非凸函数,以获取凸函数在优化过程中良好的性质。比如RPCA里,sparse部分的L0norm用L1norm来代替,low-rank部分的rank用nuclearnorm(核范数)来代替。L0和rank是非凸的,L1和nuclearnorm是凸函数,但为什么这样的approximation(在某种意义下)是最佳的呢?之前在网