特征工程: 非负矩阵分解 (附: VQ, PCA, NMF)

附：VQ，PCA，NMF

通俗点说，VQ是用一张完整的图像直接代表源脸部图像; PCA是将几个完整人脸加减压成一张脸;而NMF是取甲的眼睛，乙的鼻子，丙的嘴巴直接拼成一张脸。这样解释虽然细节上略有不妥，但不失其概念上的意义。

一。非负矩阵分解（NMF）

1.原理，应用简介

什么是？
NMF是由Lee和Seung在自然杂志上提出的一种矩阵分解方法，它使得分解后的所有分量均为非负值，并且同时实现非线性的维数约减。传统的矩阵分解大矩阵被分解V = WH形式。这些方法的共同点是，因子W和H中的元素可为正或负，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的; 在文档统计中，负值也是无法解释的。  

基本思想：
对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵U和一个非负矩阵V，使得满足，从而将一个非负的矩阵分解为左右两个非负矩阵的乘积。

基本原理： 
给定矩阵，寻找非负矩阵W和非负矩阵H，使得V = WH。 
非负矩阵分解，即是将非负矩阵V分解为两个更小的阵阵W和H相乘。这里只是数值上的近似解。  分解前后可理解为：原始矩阵的列向量的英文对左矩阵中所有列向量的加权状语从句：，而权重系数就是右矩阵对应列向量的元素，故称为基矩阵，为系数矩阵。情况一般下的选择要比小，即满足，这时用系数矩阵代替原始矩阵，就可以实现对原始矩阵进行降维，得到数据特征的降维矩阵，从而减少存储空间，减少计算机资源。

原理详解

可以解决什么问题？
NMF已逐步成为信号处理，生物医学工程，模式识别，计算机视觉和图像工程等研究领域中最受欢迎的多维数据处理工具之一。 
发现数据库中的图像特征，便于快速自动识别应用; 发现文档中的语法县官渡，用于信息自动索引和提取; 在DNA阵列中识别基因。发现数据库中的图像特征，便于快速识别应用，比如实现录入恐怖分子的照片，然后在安检口对可疑人员进行盘查。 

2.例举典型例子说明原理（包括步骤）

最左边的大矩阵由一系列的小图组成，这些小图是分析数据库中包含的2429个脸部图像的结果，每幅图

NMF分解结果与我们部分形成整体的直觉是相一致的。NMF学习出一种基于部分的表达。 

主成成分分析的步骤

（1）矩阵分解

（2） 最优化。1.确定目标函数：欧几里德巨鹿或KL散度2.假设噪声服从高斯分布3.得到最大似然函数4.采用梯度下降法一直迭代，直到结果收敛

（3）（4）（5）

最后总结（可包括优缺点，应用条件，更多应用场景等）
NMF的广泛应用，源于其对事物的局部特性有很好的解释。在众多应用中，NMF能被用于发现数据库中的图像特征，便于快速自动识别应用;能够发现文档的语义相关度，用于信息自动索引和提取;能够在DNA阵列分析中识别基因等等（更多应用）

有缺点：NMF分解算法相比于传统的一些算法而言，具有实现上的简便性，分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。为高效处理这些通过矩阵存放的数据，一个关键的必要步骤便是对矩阵进行分解操作通过矩阵分解，一方面将描述问题的矩阵的维数进行削减，另一方面也可以对大量的数据进行压缩和概括。
 参考博客：  柚子皮

 

二.sk学习库代码