微众银行在联邦推荐算法上的探索及应用 - 阅读笔记

推荐系统简介

1. 推荐系统应用广泛

推荐系统在互联网中的应用非常广泛，包括：电商、社交、信息流、在线视频、在线广告等场景。

2. 推荐系统极大提高效率

推荐系统也是AI在商业领域成功应用的典型代表。推荐系统大大提高了用户获取信息的效率，帮助用户在海量信息中快速找到匹配的信息；另外，推荐系统还可以帮助企业找到合适的用户群，从而降低获客成本，提高投资回报率。比如，在应用推荐系统后，Youtube视频点播率提高了60%；Netflix电影的播放量提高了80%，亚马逊的用户浏览量提高了30%，这都是很大，很可观的提升。

3. 推荐系统的原理

在数学上，推荐系统是一个矩阵填充的问题。

4. 推荐系统面临的问题

① 数据孤岛问题

数据通常是分散隔离的，存储在不同的企业，即所谓的数据孤岛问题。

② 数据监管问题

例如欧盟的GDPR和国内监管政策的严格，隐私保护是推荐系统必不可少的一个环节。随着数据监管体系不断完善，各个企业都在不断的加强对用户隐私的保护。

5. 差分隐私解决方法

在这种情况下，比如差分隐私是一种比较常用的隐私保护方法。它是在数据中加入一些差分隐私来保护用户的隐私。它可以用于建模的各个环节，比如在用户数据收集的过程中加入，也可以在建模的过程中，比如梯度计算，模型参数中加入差分隐私噪声，还可以在预估结果中加入噪声。

但是，现在的方法，包括差分隐私并不能完全满足我们的需求。随着差分隐私噪声的增加，确实可以保护隐私，但性能是下降的。如上图，在增加差分隐私噪声的情况下，性能下降非常快。我们希望，有一种新的技术可以在保护隐私的情况下做到性能无损。另外一个问题是，加入噪声的数据还是有可能被集中收集，所以其并没有从根本上解决数据安全的问题。我们希望新的技术可以做到数据不出本地，从而保障数据安全和用户隐私。

联邦推荐系统

什么是联邦推荐系统

联邦推荐可以在数据不出本地的情况下，在加密的环境中实现和传统推荐算法一致的性能。

1. 联邦学习的优点

2. 联邦推荐系统的分类

联邦推荐算法原理及实现

1. 纵向联邦推荐

纵向联邦推荐介绍：

纵向联邦矩阵分解：

纵向联邦矩阵分解的训练过程：

2. 横向联邦推荐

横向联邦推荐是有大量相同的物品，但各方有不同的用户。比如不同地区的电影推荐系统中，内容是一样的，但用户群体不一样。每个参与方都是一个单独的用户，但推荐的电影是一样的。

横向联邦矩阵分解：

横向联邦矩阵分解的训练过程：