Neural Collaborative Filtering（NCF） 代码实战（Keras）
博客主要分为两部分。第一部分为论文简介，第二部分为代码实战。
论文简介：
1. 通用框架
下图是作者提出的用神经网络解决推荐系统问题的通用框架。论文先将用户与物品分别进行one-hot编码，然后通过一个Embedding层映射得到对应的向量，这就类似于矩阵分解（MF）中用户与物品的潜在相量。通过此操作可以使网络自己训练调整参数，还可以降低以及控制输入神经网络的维度。
2. GMF
GMF被称为广义矩阵分解，其原理图如上图所示（图片取自如雨星空的博文，链接在最后给出）。使用用户与物品Embedding后的潜在向量作为输入，输出层的计算公式为：
3. MLP
论文使用MLP（多层感知机）来学习用户和物品潜在向量之间的相互作用。网络示意图如上所示。MLP的计算公式：
4. NeuMF
将前面介绍的GMF与MLP相融合就得到了论文所提出的NeuMF，即NCF。作者让GMF和MLP共享相同的嵌入层（Embedding Layer），为了使得融合模型具有更大的灵活性，允许GMF和MLP学习独立的嵌入，并通过拼接它们最后的隐层输出使两种模型融合。具体公式如下：
5. 几个实验重点
- 论文采用leave-one-out。即，将每个用户最近的一次交互作为测试集（时间戳），将剩余记录作为训练集。为节省时间，随机抽取100个用户没有评分记录的物品，将测试物品与这100个物品一同评分然后排列。命中率（HR）和归一化折扣累积增益（NDCG）作为评估标准，且截取长度为10。因此，HR衡量测试项目是否存在于前10名列表中，而NDCG确定其位置。将这两个指标求取平均分作为衡量指标。
- 负采样。隐性反馈为1时代表此用户与该物品有交互记录，但不代表此用户真的喜欢该物品。值为0时也不能反应用户不喜欢该物品，也有可能是用户没有遇到该物品。对此作者从用户没有评分记录的物品中进行抽样来作为负反馈。
- 预训练。权重的初始化（initialization）在深度学习模型的收敛性和性能的方面起到了重要的作用。由于 NeuMF 是 GMF 和 MLP 的组合，作者建议使用 GMF 和 MLP 的预训练模型来初始化NeuMF。在输出的权重采用参数来将两者的权重进行初始化：
代码实战
论文作者原代码：https://github.com/hexiangnan/neural_collaborative_filtering
由于这份代码使用的python2.，keras的版本也是1.0.7，一直配置不好，总报错。使用Docker也没有成功的运行，自己动手改完GMF部分的代码后才发现已经有哥们改好了，于是clone下来看了下与原作者代码没有大的出入，也跑了一下没有出错，遂使用他的代码，代码链接：点这里。博客链接：如雨星空。
1. GMF
核心代码如下：
user_input = Input(shape=(1,), dtype='int32', name='user_input')
item_input = Input(shape=(1,), dtype='int32', name='item_input')
MF_Embedding_User = Embedding(input_dim=num_users, output_dim=latent_dim, name='user_embedding',
embeddings_regularizer = l2(regs[0]), input_length=1)
MF_Embedding_Item = Embedding(input_dim=num_items, output_dim=latent_dim, name='item_embedding',
embeddings_regularizer = l2(regs[1]), input_length=1)
user_latent = Flatten()(MF_Embedding_User(user_input))
item_latent = Flatten()(MF_Embedding_Item(item_input))
predict_vector = Multiply()([user_latent, item_latent])
#predict_vector = Add()([user_latent, item_latent])
prediction = Dense(1, activation='sigmoid', kernel_initializer='lecun_uniform', name = 'prediction')(predict_vector)
model = Model(inputs=[user_input, item_input], outputs=prediction)
Embedding只能作为模型的第一层，其重要参数：
- input_dim：大或等于0的整数，取值的可能数。比如ID类特征取值为0到5，则input_dim应该设为6
- output_dim：大于0的整数，代表全连接嵌入的维度
- input_length：输入序列的长度固定时，该值为其长度
Embedding层后如果需要接Dense层进行训练，必须使用Flattern层将Embedding层的二维输出矩阵平铺为一维。
2. MLP
核心代码如下：
assert len(layers) == len(reg_layers)
num_layer = len(layers) #Number of layers in the MLP
# Input variables
user_input = Input(shape=(1,), dtype='int32', name = 'user_input')
item_input = Input(shape=(1,), dtype='int32', name = 'item_input')
MLP_Embedding_User = Embedding(input_dim = num_users, output_dim = int(layers[0]/2), name = 'user_embedding',
embeddings_regularizer = l2(reg_layers[0]), input_length=1)
MLP_Embedding_Item = Embedding(input_dim = num_items, output_dim = int(layers[0]/2), name = 'item_embedding',
embeddings_regularizer = l2(reg_layers[0]), input_length=1)
# Crucial to flatten an embedding vector!
user_latent = Flatten()(MLP_Embedding_User(user_input))
item_latent = Flatten()(MLP_Embedding_Item(item_input))
# The 0-th layer is the concatenation of embedding layers
vector = Concatenate(axis=-1)([user_latent, item_latent])
# MLP layers
for idx in range(1, num_layer):
layer = Dense(layers[idx], W_regularizer= l2(reg_layers[idx]), activation='relu', name = 'layer%d' %idx)
vector = layer(vector)
# Final prediction layer
prediction = Dense(1, activation='sigmoid', init='lecun_uniform', name = 'prediction')(vector)
model = Model(input=[user_input, item_input],
output=prediction)
return model
-
用户与物品经embedding后的长度均为第一层全连接网络的1/2，将其拼接输入全连接网络。
-
使用for循环生成全连接层，代码更加简洁，可读性强。
3. NCF
核心代码如下：
assert len(layers) == len(reg_layers)
num_layer = len(layers) #Number of layers in the MLP
# Input variables
user_input = Input(shape=(1,), dtype='int32', name = 'user_input')
item_input = Input(shape=(1,), dtype='int32', name = 'item_input')
# Embedding layer
MF_Embedding_User = Embedding(input_dim = num_users, output_dim = mf_dim, name = 'mf_embedding_user',
embeddings_regularizer = l2(reg_mf), input_length=1)
MF_Embedding_Item = Embedding(input_dim = num_items, output_dim = mf_dim, name = 'mf_embedding_item',
embeddings_regularizer = l2(reg_mf), input_length=1)
MLP_Embedding_User = Embedding(input_dim = num_users, output_dim = int(layers[0]/2), name = "mlp_embedding_user",
embeddings_regularizer = l2(reg_layers[0]), input_length=1)
MLP_Embedding_Item = Embedding(input_dim = num_items, output_dim = int(layers[0]/2), name = 'mlp_embedding_item',
embeddings_regularizer = l2(reg_layers[0]), input_length=1)
# MF part
mf_user_latent = Flatten()(MF_Embedding_User(user_input))
mf_item_latent = Flatten()(MF_Embedding_Item(item_input))
mf_vector = Multiply()([mf_user_latent, mf_item_latent]) # element-wise multiply
# MLP part
mlp_user_latent = Flatten()(MLP_Embedding_User(user_input))
mlp_item_latent = Flatten()(MLP_Embedding_Item(item_input))
mlp_vector = Concatenate(axis = 1)([mlp_user_latent, mlp_item_latent])
for idx in range(1, num_layer):
layer = Dense(layers[idx], W_regularizer= l2(reg_layers[idx]), activation='relu', name="layer%d" %idx)
mlp_vector = layer(mlp_vector)
# Concatenate MF and MLP parts
predict_vector = Concatenate(axis = -1)([mf_vector, mlp_vector])
# Final prediction layer
prediction = Dense(1, activation='sigmoid', init='lecun_uniform', name = "prediction")(predict_vector)
model = Model(input=[user_input, item_input],
output=prediction)
return model
- 将GMF与MLP相结合，最后进行拼接输入至Dense层。
数据处理读取与结果的评价具体参考完整代码：https://github.com/wyl6/Recommender-Systems-Samples/tree/master/RecSys%20And%20Deep%20Learning/DNN/ncf
参考：
- https://blog.csdn.net/xxiaobaib/article/details/99116755
- https://blog.csdn.net/livan1234/article/details/85057936