非负矩阵分解 NMF 总结

好难啊，看的头疼。争取十一写出来。

1.非负矩阵分解

假定非负矩阵$X\in R^{d\times n}$,$A\in R^{d\times k}$,$B\in R^{n\times k}$为矩阵分解后的非负子矩阵，k远小于$d$和$n$.
$$X_{+}\approx A_{+}{B}_{+}^T$$

• 降维
  A可以理解为降维后的特征与原始数据之间的关系，B为降维后的数据。
• 聚类
  A为聚类后每一簇的样本中心点，B为每一个数据的指示矩阵，或者数据的簇划分。
  求解AB的过程常采用最小化代价函数，代价函数常采用误差平方和。
  $$\underset{A⩾0,B⩾0}{\min }{\Vert X-A{B}^T\Vert }^2$$

2.非负矩阵的变形

2.1 Semi-NMF

2.2 Convex-NMF

2.3 Tri-NMF

2.4 Kernel-NMF

3.非负矩阵分解的算法

3.1梯度下降

3.2乘法算法

3.3交替最小二乘法

3.4拟牛顿法
3.5分层分解法

4.正交非负矩阵分解与K-means

目标函数以误差平方和计算：
$$\underset{A⩾0,B⩾0}{\min }{\Vert X-A{B}^T\Vert }^2$$
约束为$$B^{T}B=I$$
目标函数可以转化为：

对上式中A求偏导
$$\frac{\partial }{\partial A}(X^{T}X-2X^{T}A{B}^T+A^{T}A)=2XB+2A=0$$
可得：$A=XB$
代入：
$$\min Tr(X^{T}X-B^T{X}^{T}XB)$$
$$s.t{B}^{T}B=I$$
K-means目标函数

$$\min J_k\text{ = }\min \sum _{i=1}^C\sum _{j=1}^{n_i}{\Vert x_j^i-{\mu }^i\Vert }^2\text{ = min}\sum _{i=1}^C\left(\sum _{j=1}^{n_i}{x}_j^{iT}{x}_j^i-\frac{1}{n_i}\sum _{j=1}^{n_i}{x}_j^i\sum _{j=1}^{n_i}{x}_j^i\right)$$
令$$H=\{h_1,h_2\cdots h_C\}$$
其中，

则

这里需要注意的是K-means中对H的定义不仅是有非负性，还有具体的定义。
而正交非负矩阵分解中只有非负性定义。

5.对称正交非负矩阵分解与Spectral clustering

对称正交非负矩阵：
$$\underset{F^{T}F=I}{\min }{\Vert W-H{H}^T\Vert }^2$$
上式转化为：
$$\underset{H^{T}H=I,H\ge 0}{\min }Tr(W^{T}W)-2Tr(H^{T}WH)+Tr(H^{T}H)$$
由于$W^{T}W$为常数，且$H^{T}H=I$，上式可以转化为：
$$\underset{H^{T}H=I}{\max }Tr(H^{T}WH)$$
谱聚类目标函数：

$$\underset{F^{T}DF=I}{\min }Tr(F^{T}LF)=\underset{F^{T}DF=I}{\min }Tr\left[F^T(D-W)F\right]=\underset{F^{T}DF=I}{\max }Tr(F^{T}WF)$$
令$H=D^{1/2}F$，则上式可等价于：
$$\underset{F^{T}DF=I}{\max }Tr(F^{T}WF)=\underset{H^{T}H=I}{\max }Tr(H^{T}PH)$$
其中，$P=D^{-1/2}W{D}^{-1/2}$