温故valse|2014XJTU-MengDeyu Matrix Factorization with unknown noise

源自孟德宇老师在2014年valse的网络视频演讲
Deyu Meng, Fernando De la Torre. Robust Matrix Factorization with Unknown Noise. International Conference of Computer Vision (ICCV), 2013.
Qian Zhao, Deyu Meng, Zongben Xu, Wangmeng Zuo, Lei Zhang. Robust principal component analysis with complex noise, International Conference of Machine Learning (ICML), 2014.

1. Matrix Factorization

本文其实更注重对于噪音的建模，这里还是简要介绍下矩阵分解的基本知识。

矩阵分解是将一个矩阵分解为几个矩阵乘的形式

Xm×n→Um×kVk×n X m × n → U m × k V k × n

我们可以将其描述为如下的模型：

其中等式左边为一个输入，右边为矩阵U和V的向量，最后 ε ε 代表噪音

这里我们考虑k会比m或者n小很多的情况，这时候的变换可以有很多好处，比如：

• 降维

• 重建去噪

  提到矩阵分解，基础而著名方法有SVD等，这里插一下SVD的公式：

  A=UΣVT A = U Σ V T

  
  可以看做是矩阵A在不同基下旋转、缩放、投影等线性变换，而奇异值可以看成坐标转换之后的显著程度，奇异值越大表示越重要，去除较小的奇异值对应该的信息可以证明对应的去除了相应高斯分布的噪音信息。

SVD可以将下面图片中的形状“0”从噪音中找出，可是原始SVD在数据缺失或者噪音比较复杂的时候就比较难以出好的效果。

现有处理缺失数据或者是噪音严重数据的方法通常有以下两种形式：

其中l2方法中对于离散点太敏感，l1方法优化比较难但是对离散点的鲁棒性更好。L1和L2两种方法都有很多非常好的工作。（上图中公式中的W作为指示矩阵刻画数据是否缺失或者作为权重刻画噪音，比如若噪音较小对应位置的权重较大）

2.MoG

从极大似然估计的角度L2model对于高斯噪音最优，L1对于拉普拉斯噪音最优。也就是如果知道噪音的分布是这两种中的某一种，采用对应的方法就好，然而现实中的噪音一般不是某种单纯分布的噪音。所以孟老师他们提出了自己的方法来处理这种不纯的噪音。

孟老师的想法是找到一种model可以根据样本自动确定噪音分布，他们利用Mixture of Gaussian来达到这一目的。因为从理论上讲Mixture of Gaussian可以逼近任意分布，而且由于其是一个smooth的函数比较利于求解。

噪音的MoG分布可以写成如下：

对于整个模型的极大似然模型如下：

即优化上式中的参数，其中 Π Π 代表各高斯分布的权重

具体推导详见作者论文
(Matrix_Factorization_2013_ICCV_paper.pdf)

使用EM算法求解，EM（期望极大算法）的一个重要应用便是高斯混合模型的参数估计，具体的算法上面论文中有，李航博士的统计学习方法中也有基础知识的论述。

这里不同的是M步中不仅要更新MoG的参数，还要更新U和V，而更新U和V的时候恰好可以对应L2 norm的形式，只不过这其中的W是在EM中学习到的。这也说明了论文中提出方法的合理性。

3.实验

3.1 去噪

这是一个非常漂亮的图，直观的体现了MoG对于噪音的拟合要好于L2或者L1

3.2固定摄像头的背景提取

当然现在有很多比较新的方法来做这个工作，这里看一下论文中的效果

可以看到本文中的方法对于分离出了摄像噪音，人物前景，人物阴影都有不同的建模。

---

整体来看求解方法还是比较复杂的，EM算法的通病就是对于初始值有一定的敏感性而且不保证全局最优解。但是论文思想还是挺不错的。