聚类_21范数_NMF_非负矩阵分解：Robust Manifold Nonnegative Matrix Factorization

将21范数应用到NMF的一篇论文，写的有些简略，后面有时间再补充

Abstract

• 非负矩阵分解（NMF）是用于数据分析的应用最广泛的聚类技术之一。
• 由于目标函数中含有每个数据点的平方残差误差，因此易受极端值影响。
• 本文提出鲁棒流形非负矩阵分解（RMNMF）方法，使用21范数，并在相同的聚类框架下集成NMF和谱聚类。
• 本文还指出了现有NMF方法的解决方案唯一性问题，并提出了一个额外的正交约束来解决这个问题。
• 通过基于增广拉格朗日方法（ALM）解决了困难的优化问题。
• 本文还介绍了本文方法和鲁棒K-means方法以及谱聚类的联系，并证明了理论意义。

INTRODUCTION

• NMF应用很广泛而且效果很好，但是存在以下几个问题：1. 必须限制矩阵元素为非负的，限制了在一般数据集上的应用与可解释性；2. 每个数据点的误差被平方，鲁棒性较差；3.无法发现数据本身的流型与结构。
• 为了解决现有NMF方法中的这些缺点，本文提出了鲁棒流形非负矩阵分解（RMNMF）方法
• 创新之处在于：1. 在谱聚类中应用21范数提高鲁棒性； 利用21范数的旋转不变性增强聚类性能；2.结合了一个流形正则化项对数据中可能存在的几何信息进行编码；3.推导了新的优化算法

ORTHOGONAL MANIFOLD NMF

Semi-NMF via 21 Norm

• 将标准Semi-NMF由${\min }_{G\ge 0}\Vert X-F{G}^T{\Vert }_F^2$变为${\min }_{G\ge 0}\Vert X-F{G}^T{\Vert }_{2,1}$同时去掉了F上的非负约束

Demonstration Example

• 通过对AT&T数据集中的人脸图像加随机7*7遮挡模拟噪声数据，结果表明应用21范数的NMF方法具有更好的效果，这证明了更强的鲁棒性

Manifold Regularized NMF

• 引入拉普拉斯矩阵，目标函数变为：$$\underset{G\ge 0,G^{T}G=I}{\min }\Vert X-F{G}^T{\Vert }_{2,1}+\lambda Tr(G^{T}LG)$$ 因此本文所提方法既区分于GNMF和其他应用21范数的方法

COMPUTATIONAL ALGORITHM

• 本文将应用增广拉格朗日乘子法（ALM）进行优化求解，目标函数变为：
  
• ALM中涉及几个参数，截图里面有介绍，具体解释也可以阅读其他关于ALM方法的论文

Initialization

• μ的初始值设置为一个较小值，10-5到10-3之间，另外两个参数初始为0矩阵
• 后续就是常规的优化求解方法，固定其他变量，每次只更新一个变量，具体过程略（建议仔细阅读，包含很多细节，论文中下文的算法详细介绍也建议仔细研究）
• 算法如下：
• 每次迭代的时间复杂度为：$O(p^3+pn)$，速度与经典聚类算法相当

CONNECTIONS TO OTHER CLUSTERING METHODS

• 这一部分证明了本文所提方法与一些聚类方法的联系

Connection to K-Means

• 可以证明，本文所提方法隐式地执行了鲁棒K-Means聚类

Connection to Spectral Clustering

• 当满足$\lambda \to \infty$时，本文所提方法等同于谱聚类
• EXPERIMENTAL RESULTS
• 实验略。