多模态----MMGCN: Multi-modal Graph Convolution Network for Personalized Recommendation of Micro-video

摘要:

个性化推荐在许多在线内容分享平台中扮演着核心角色。要想提供高质量的微视频推荐服务，就必须考虑用户与项目(即微视频)之间的交互，以及项目内容的不同形态(如视觉、听觉、文字)。现有的多媒体推荐工作主要利用多模态内容来丰富项目表示，而在利用用户和项目之间的信息交换来增强用户表示和进一步捕获用户对不同模式的细粒度偏好方面做的工作较少。

在本文中，我们提出了利用用户项交互来指导每个模态的表示学习，并进一步个性化微视频推荐。我们设计了一个基于图神经网络消息传递思想的多模态图卷积网络(MMGCN)框架，它可以生成用户和微视频的特定模态表示，以更好地捕捉用户的偏好。具体来说，我们构造了每个模态的用户项二部图，并利用每个节点的拓扑结构和邻居的特征来丰富每个节点的表示。通过在三个公开可用的数据集Tiktok、葵和MovieLens上的广泛实验，我们证明了我们提出的模型能够显著优于目前最先进的多模式推荐方法。

总结:

为了增强微视频推荐功能，本文对特定于模态的用户偏好进行了显式建模。我们设计了一种新的基于gcn的框架，称为MMGCN，以利用用户和微视频在多种模式下的信息交换，细化其特定模式的表示，并进一步模拟用户对微视频的细粒度偏好。在三个公开的微视频数据集上的实验结果验证了我们的模型。此外，我们可视化了一些示例来说明特定于模式的用户首选项。

本研究探讨不同模式下的信息交换如何影响用户偏好。这是将模态感知的结构信息编码到表示学习中的初步尝试。这是一个很有前途的解决方案，以了解用户的行为，并提供更准确、多样化和可解释的建议。在未来，我们将在几个方向上扩展MMGCN。首先，构建多模态知识图来表示微视频[31]中的对象及其关系，然后将其应用到MMGCN中进行细粒度内容分析建模。它将以更细粒度的方式来探索用户的兴趣，并提供对用户意图的深入理解。它还可以提供更准确、更多样化、更可解释的建议。其次，我们将探索社交领袖如何影响推荐，即将社交网络与用户-道具图整合。我们还希望将多媒体推荐整合到对话系统中，以实现更智能的对话式推荐

贡献:

我们探讨了不同模式的信息交换如何反映用户偏好和影响推荐性能。

•我们开发了一种新的方法MMGCN，它在模态感知的两部分用户-项目图上使用信息传播，以获得基于项目内容信息的更好的用户表示。

•我们在三个公共数据集上进行了广泛的实验，以证明我们提出的模型优于几种最先进的推荐方法。此外，我们还公布了我们的代码、参数和基线，以方便其他人进一步研究。