From: http://www.52ml.net/376.html

相关论文： http://www.docin.com/p-921550987.html

论文翻译：http://www.ithao123.cn/content-7974033.html


1. 受限玻尔兹曼机简单介绍

  传统的受限玻尔兹曼机是一种如下图所示, 其由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接。

   

  将该模型应用到协同过滤需要解决以下两个问题:

  1. 鉴于RBM中的单元都是二元变量, 如果用这些二元变量来对整数值的评分建模?

  2. 用户的打分是非常稀疏的, 亦即用户只会对很少的物品(比如电影)打分, 如何处理这些缺失的评分?

2. 基于RBM的协同过滤

  提出了一种使用RBM来进行协同过滤的方法:

  假设有m个电影, 则使用m个softmax单元来作为可见单元来构造RBM.  对于每个用户使用不同的RBM, 这些不同的RBM仅仅是可见单元不同, 因为不同的用户会对不同的电影打分, 所有的这些RBM的可见单元共用相同的偏置以及和隐藏单元的连接权重W. 该方法很好的解决了之前提到的问题:

  1. 使用softmax来对用户的评分进行建模, softmax是一种组合可见单元, 包含k个二元单元, 第i个二元单元当且只当用户对该电影打分为i时才会置为1.

  2. 如果一个用户没有对第j个电影评分, 则该用户的RBM中不存在第j个softmax单元.

  该模型如下图所示:

   

  可是单元V和隐藏单元h的条件概率为:

   

  模型参数的学习过程非常类似于RBM的DC算法:

   

  训练完模型后, 计算用户对未评价物品的预测评分的算法为:

   

3. 条件RBM(Conditional Restricted Boltzmann Machine)

  以上的RBM只用到了用户对电影的评分, 忽视了另外一种非常重要的信息: 用户浏览过哪些电影(但是没打分, 或者打分未知), 条件RBM把这种信息也进行了建模:

   

  其中的r是一个m维的向量, r i 为1代表用户对浏览过第i个电影, 加入r后的模型的条件概率为:

   

  权重D的学习过程为:

   

  参考文献:

  [1]. Ruslan Salakhutdinov, Andriy Mnih, Geoffrey Hinton.  Restricted Boltzmann Machines for Collaborative Filtering . 2007, ICML.

  [2]. Gilles Louppe, Pierre Geurts.  Collaborative filtering: Scalable approaches using restricted Boltzmann machines .