矩阵分解MF与非负矩阵分解NMF的应用

1.MF(Matrix Factorization)模型推导

对于郑宇论文Inferring Gas Consumption and Pollution Emissions of Vehicles throughout a City

文中梯度表达式有误,重新进行推导与说明如下。

其中推导过程多次涉及以下公式(*):

矩阵分解MF与非负矩阵分解NMF的应用_第1张图片

矩阵分解MF与非负矩阵分解NMF的应用_第2张图片

矩阵分解MF与非负矩阵分解NMF的应用_第3张图片

 矩阵分解MF与非负矩阵分解NMF的应用_第4张图片

矩阵分解MF与非负矩阵分解NMF的应用_第5张图片

矩阵分解MF与非负矩阵分解NMF的应用_第6张图片

矩阵分解MF与非负矩阵分解NMF的应用_第7张图片

 矩阵分解MF与非负矩阵分解NMF的应用_第8张图片

 

 矩阵分解MF与非负矩阵分解NMF的应用_第9张图片

 矩阵分解MF与非负矩阵分解NMF的应用_第10张图片

 矩阵分解MF与非负矩阵分解NMF的应用_第11张图片

 按照上述表达式编写程序,经验证正确!

2. NMF(Non-negative matrix factorization)模型推导

 原始待分解矩阵 具有高度稀疏性(highly sparse cases),且分解需保证非负性,为此,将原TSE模型进一步扩展为NMF-TSE模型(注意 X高度稀疏矩阵,需对X 作稀疏处理,Y,Z 是否稀疏处理,以其稀疏性具体而定(本文已作处理,对于无稀疏处理情况则相应简化即可),此时L 不再是loss函数),相应的Lagrangian函数如下:  

矩阵分解MF与非负矩阵分解NMF的应用_第12张图片

 矩阵分解MF与非负矩阵分解NMF的应用_第13张图片

 矩阵分解MF与非负矩阵分解NMF的应用_第14张图片

        依据上述各项迭代式,根据随机初始化的低秩矩阵可直接迭代补全待分解矩阵的缺失值无需设置学习率,具有收敛效率高,迭代结果无负值,易于解释等特点。对于NMF的详细解释与说明,可参阅《Algorithms for Non-negative Matrix Factorization》及其它NMF相关的论文,在此不再详述。

3. 参考文献

1.Jingbo Shang, Yu Zheng, Wenzhu Tong, Eric Chang, Yong Yu. Inferring Gas Consumption and Pollution Emissions of Vehicles throughout a City

2. Daniel D. Lee, H. Sebastian Seung.Algorithms for Non-negative Matrix Factorization

3.Dingxiong Deng, Cyrus Shahabi, Ugur Demiryurek, Linhong Zhu, Rose Yu, Yan Liu.Latent Space Model for Road Networks to Predict Time-Varying Traffic

你可能感兴趣的:(#,机器学习,数据挖掘,矩阵分解,非负矩阵分解,协同过滤)