Nonnegative Matrix Factorization: Complexity, Algorithms and Applications 论文笔记

Nicolas Gillis PhD Thesis

 

Chapter 3  Nonnegative Rank

 

• 存在两个open的问题，对于非负矩阵分解M=UV：

当矩阵M的秩固定时，NMF的复杂度如何？　　

当两个矩阵印子UV的值固定时，NMF的复杂度如何？

 

• exact NMF 问题：

  • 给定一个非负m*n矩阵M，其秩为r，如果可能，找到两个非负矩阵因子U，V，其维度分别为m*r，r*n，并且有M=UV。
  • exact NMF 问题有以下几个结论：
    •  当rank(M)=1时，任何秩为1的非负矩阵M都可以被分解为两个非负矩阵U，V的乘积
    • 当rank(M)=2时，任何秩为2的非负矩阵M都可以被分解为两个秩为2的非负矩阵U，V

解释：讲矩阵M的每一列看做一个元素，秩为2则其每一列都可以在一个2维子空间上被表示，也即每列都可以用两个非负向量进行表示。并且，这两个extreme vector能够在多项式时间内计算出来。

 

• 针对rank-1 NMF，目前有以下理论：

  • rank-1 NMF能够在多项式时间内解决；
  • 非负矩阵M的左右主奇异向量都是非负的（SVD：M=UΣVT，U中向量称为左奇异向量，V中向量称之为右奇异向量）https://www.cnblogs.com/fionacai/p/5767973.html；
  • 主奇异向量的外积是M最好的rank-1 近似
  • 这些向量能够在多项式时间内被计算

 

• 对于rank-2 NMF：

  • 当矩阵M的最优rank-2近似为唯一且非负时，rank-2 NMF问题能够在多项式时间内解决
  • 实际上，rank-2 NMF经常不满足非负性，因为M中有很多相当小的元素
  • 因此rank-2 NMF的复杂性未知；并且对于任何秩大于2的固定因子分解，复杂度都是未知的

 

• 松弛法

对于高斯-赛德尔迭代法，首先求得第k+1次迭代值，然后计算第k+1次、第k次迭代值之差，之后再第k次迭代值的基础上，直接加上这个差的一个倍数ω，作为实际第k+1次的迭代值，其中，ω成为松弛因子。

当ω>1时，成为超松弛法，次数加大了第k+1词迭代的比重；当ω<1时，称为亚松弛法或低松弛法；当ω=1时，就是普通的高斯-赛德尔迭代法。

矩阵形式go forhttps://baike.baidu.com/item/%E6%9D%BE%E5%BC%9B%E6%B3%95

 

• Restricted Nonnegative Rank：rank+*(M)

对于非负矩阵M，存在一个最小的正数k，使得存在UV（维度与前文相同省略），使得M=UV，并且rank（U）= rank（M），也即col（U）= col（M）。

一般计算受限非负秩，以及相关的非负矩阵分解因子UV，使得M=UV，并且rank（U）= rank（M）= r。

做上面计算的原因在于：1）为寻找非负秩提供了新的上界：  2）受限非负秩能够更容易的计算

求解受限非负秩与rank-2 NMF不同，当时，计算受限非负秩可以在多项式时间内解决；对于，是NP-难的。

 

 

• Nested Polytopes Problem

对于一个多面体空间P，其中存在一些点构成的集合S，这些点不在任何超平面上。试图找到包含点数量最小的集合，使得这些点的凸包（convex hull）T包含S，也即

• Intermediate Simplex

给定一个有界的多面体，有，P中存在一个包含n个点的集合S，S中所有的点不属于任何一个超平面，，是否存在个点，使得这个点的凸包T包含S，也即，是否存在一个包含r个点的多面体T使得有？

Intermediate simplex问题是NPP问题的一个特殊情况，即是否k等于r（r是最小的点数量）。也即，是否存在一个单纯形T（定义在r-1维空间上的r个点），包含在P中，且包含S

Th3.1 从 Exact NMF 到 IS问题存在一个多项式时间的reduction（化简），反之亦然。（IS is NP-hard using a reduction from 3-SAT）

Th3.2 从 RNR 到 NPP 也存在一个多项式时间的reduction（化简），反之亦然。

 

Question：

1.P28 为何M的列是按归一化的，则A至少有一列和不为0？

2.P28 为何因为A的每一列都是归一化的，则有M是列stochastic的，并且B也是按列归一化的？