聚类_21范数_NMF_非负矩阵分解:Robust Manifold Nonnegative Matrix Factorization

将21范数应用到NMF的一篇论文,写的有些简略,后面有时间再补充

Abstract

  • 非负矩阵分解(NMF)是用于数据分析的应用最广泛的聚类技术之一。
  • 由于目标函数中含有每个数据点的平方残差误差,因此易受极端值影响。
  • 本文提出鲁棒流形非负矩阵分解(RMNMF)方法,使用21范数,并在相同的聚类框架下集成NMF和谱聚类。
  • 本文还指出了现有NMF方法的解决方案唯一性问题,并提出了一个额外的正交约束来解决这个问题。
  • 通过基于增广拉格朗日方法(ALM)解决了困难的优化问题。
  • 本文还介绍了本文方法和鲁棒K-means方法以及谱聚类的联系,并证明了理论意义。

INTRODUCTION

  • NMF应用很广泛而且效果很好,但是存在以下几个问题:1. 必须限制矩阵元素为非负的,限制了在一般数据集上的应用与可解释性;2. 每个数据点的误差被平方,鲁棒性较差;3.无法发现数据本身的流型与结构。
  • 为了解决现有NMF方法中的这些缺点,本文提出了鲁棒流形非负矩阵分解(RMNMF)方法
  • 创新之处在于:1. 在谱聚类中应用21范数提高鲁棒性; 利用21范数的旋转不变性增强聚类性能;2.结合了一个流形正则化项对数据中可能存在的几何信息进行编码;3.推导了新的优化算法

ORTHOGONAL MANIFOLD NMF

Semi-NMF via 21 Norm

  • 将标准Semi-NMF由 min ⁡ G ≥ 0 ∥ X − F G T ∥ F 2 \min_{G\ge0}\|X-FG^T\|_{F}^2 minG0XFGTF2变为 min ⁡ G ≥ 0 ∥ X − F G T ∥ 2 , 1 \min_{G\ge0}\|X-FG^T\|_{2,1} minG0XFGT2,1同时去掉了F上的非负约束

Demonstration Example

  • 通过对AT&T数据集中的人脸图像加随机7*7遮挡模拟噪声数据,结果表明应用21范数的NMF方法具有更好的效果,这证明了更强的鲁棒性

Manifold Regularized NMF

  • 引入拉普拉斯矩阵,目标函数变为: min ⁡ G ≥ 0 , G T G = I ∥ X − F G T ∥ 2 , 1 + λ T r ( G T L G ) \min_{G\ge0,G^TG=I}\|X-FG^T\|_{2,1}+\lambda Tr(G^TLG) G0,GTG=IminXFGT2,1+λTr(GTLG) 因此本文所提方法既区分于GNMF和其他应用21范数的方法

COMPUTATIONAL ALGORITHM

  • 本文将应用增广拉格朗日乘子法(ALM)进行优化求解,目标函数变为:
    聚类_21范数_NMF_非负矩阵分解:Robust Manifold Nonnegative Matrix Factorization_第1张图片
  • ALM中涉及几个参数,截图里面有介绍,具体解释也可以阅读其他关于ALM方法的论文

Initialization

  • μ的初始值设置为一个较小值,10-5到10-3之间,另外两个参数初始为0矩阵
  • 后续就是常规的优化求解方法,固定其他变量,每次只更新一个变量,具体过程略(建议仔细阅读,包含很多细节,论文中下文的算法详细介绍也建议仔细研究)
  • 算法如下:聚类_21范数_NMF_非负矩阵分解:Robust Manifold Nonnegative Matrix Factorization_第2张图片
  • 每次迭代的时间复杂度为: O ( p 3 + p n ) O(p^3+pn) O(p3+pn),速度与经典聚类算法相当

CONNECTIONS TO OTHER CLUSTERING METHODS

  • 这一部分证明了本文所提方法与一些聚类方法的联系

Connection to K-Means

  • 可以证明,本文所提方法隐式地执行了鲁棒K-Means聚类

Connection to Spectral Clustering

  • 当满足 λ → ∞ \lambda \to \infty λ时,本文所提方法等同于谱聚类
  • EXPERIMENTAL RESULTS
  • 实验略。

你可能感兴趣的:(聚类)