非负矩阵分解(NMF)-Non-negative Matrix Factorization

[toc]

一、简介

著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想――非负矩阵分解(Non-negative Matrix Factorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。该论文的发表迅速引起了各个领域中的科学研究人员的重视。

优点：

1. 处理大规模数据更快更便捷；

2. 简便性、分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。

比较：

• 利用矩阵分解来解决实际问题的分析方法很多，如PCA（主成分分析）、ICA（独立成分分析）、SVD（奇异值分解）、VQ（矢量量化）等。

• 这些方法的共同特点是，元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。

• 在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。

二、相关内容

非负矩阵分解(Non-negative Matrix Factorization，NMF)算法。是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。

即矩阵维为非负矩阵，那么可以分解为2个非负矩阵维、维的乘积。（相关证明还未查阅，以后补上。）

可以显着小于和，可以明显降低矩阵的维度。

三、相关算法

1、乘法更新法（Multiplicative weight update method）

Lee和Seung的乘法更新规则由于实现简单而成为一种流行的方法。该算法是：

初始化：和非负。

更新：由第n次更新第n+1次的、。

注意：更新是基于第(i,j)元素而不是矩阵乘法完成的。

More recently other algorithms have been developed. Some approaches are based on alternating non-negative least squares: in each step of such an algorithm, first H is fixed and W found by a non-negative least squares solver, then W is fixed and H is found analogously. The procedures used to solve for W and H may be the same or different, as some NMF variants regularize one of W and H. Specific approaches include the projected gradient descent methods, the active set method, the optimal gradient method, and the block principal pivoting method among several others.

四、参考

相关库：

• http://nimfa.biolab.si/ - nimfa - A Python Library for Nonnegative Matrix
• http://www.csie.ntu.edu.tw/~cjlin/nmf/ Factorization Techniques

相关参考：

wiki：https://en.wikipedia.org/wiki/Non-negative_matrix_factorization

https://wenku.baidu.com/view/94c8af0bf78a6529647d5331.html

https://blog.csdn.net/zlp_zky/article/details/78391420

https://www.cnblogs.com/ywl925/p/3315758.html

https://liuzhiqiangruc.iteye.com/blog/2095116