什么是推荐系统?根据维基百科的定义, 它是一种信息过滤系统,主要功能是预测用户对物品 的评分和偏好。这一定义回答了推荐系统的功能是过滤信息、连接用户和推送信息。将这一定义扩 展一下, 推荐系统就是自动联系用户和物品的一种工具,它能够在信息过载的环境中帮助用户发现 令他们感兴趣的信息, 也能够将信息推送给感兴趣的用户。
推荐系统起源于 20 世纪 90 年代,经过 20 多年的积累和沉淀, 已经逐渐成为一门独立的学科, 并在学术研究和工业界的应用中取得了诸多成果, 如图 1- 1 所示。
如今,随着深度学习在推荐系统的广泛应用,推荐系统领域正式迈入了深度学习时代,微软 (Microsoft)、谷歌(Google)、百度、阿里巴巴等公司成功地在推荐、广告等业务场景中应用了深度 学习模型。推荐系统被应用于如下所示的诸多业务场景中。
● 信息流推荐场景,比如今日头条新闻推荐、360 快资讯、微信看一看等。
● 视频网站,比如 YouTube、腾讯视频、抖音等。
● 电商网站,比如淘宝、京东、亚马逊(Amazon)等。
个性化广告场景,比如百度、谷歌、 360 等网站的广告推荐模块。
● 个性化音乐场景,比如 QQ 音乐、酷狗音乐等 App 的音乐推荐模块。
● 社交网站,比如 Facebook、微信、领英等。
站在互联网企业的角度,在互联网应用及用户规模“爆炸式” 增长的时代, 如何做到千人千面, 为每个用户提供个性化的服务, 从而提升产品的使用率和用户黏性呢?这是推荐系统需要解决的 问题。站在用户的角度,面对海量的信息,如何高效检索自己感 兴趣的内容呢?这也是推荐系统需要解决的问题。
和搜索引擎不同, 个性化推荐系统需要依赖用户的行为数据。 对于不同的应用场景,推荐系统的优化目标是不一样的,比如淘 宝这样的电商平台关注的主要是用户点击后的转化率(conversion rate ,CVR);而 YouTube 这样的视频分享平台关注的主要是用户 的观看时长,这是因为 YouTube 的主要收入源于广告,增加用户 的观看时长可以提高广告的曝光度。
为了更直观地区分推荐系统在不同应用场景下发挥的作用, 本章尝试用两个应用场景来描述。
第一个应用场景是今日头条 App 新闻推荐频道 (见图 1-2)。 2018 年 1 月,今日头条的算法架构师发文公布了今日头条的算法 原理,文中提到今日头条关注的目标包含点击率 (click-throughrate ,CTR)、阅读时间、点赞、评论、转发等, 而其中最主要的目标就是 CTR。这主要是因为点击 量和公司的商业目标直接相关,而通过优化点击率来提升点击量是最直接的方法。
第二个应用场景是 YouTube 视频推荐。YouTube 是一个视频网站, 成立于 2005 年,每天要为全 球成千上万的用户提供高水平的视频上传、分发、展示、浏览服务。图 1-3 所示为 YouTube 网站首 页,里面包含各种形式的视频。前面提到过 YouTube 主要优化的是用户观看时长,算法工程师需要 根据业务指标调整模型结构和优化目标。早在 2016 年,YouTube 的算法工程师在 RecSys 会议上发表 了论文“Deep Neural Networks for YouTube Recommendations”非常明确地指出了将优化用户观看时 长设为最终优化目标的建模方法。在随后 2019 年的 WSDM 会议上,另一篇有关强化学习的论文“Top- KOff-Policy Correction for a REINFORCE Recommender System”提出的最终优化目标也是优化用户观 看时长,模型上线后总的用户观看时长提升 0.86%。后面的章节将会详细介绍这两篇论文的技术细节。
本文摘自《推荐系统技术原理与实践》
文亮著
分层介绍推荐系统全链路架构,精选大厂前沿技术方案,帮助读者深入学习、实践推荐系统知识体系,深度解读推荐系统技术的应用场景和前沿实践!
1.集机器学习和深度学习于一身,由360资深算法专家撰写,让你轻松掌握推荐系统的核心技术。
2.覆盖推荐系统召回、粗排、精排和重排全链路,本书从多个角度审视推荐系统中的公平性问题、知识蒸馏、冷启动等前沿实践,是推荐系统领域实践者不容错过的指南。
3.以业界实践为基础,介绍推荐系统的核心技术。通过谷歌、阿里巴巴等大型互联网公司在4层级联架构中的模型设计和实现原理,快速了解业内主流解决方案,搭建属于自己的实用知识体系。
本书系统介绍推荐系统的技术理论和实践。首先介绍推荐系统的基础知识;然后介绍推荐系统常用的机器学习和深度学习模型;接着重点介绍推荐系统的4层级联架构,包括召回、粗排、精排和重排,以及谷歌、阿里巴巴等大型互联网公司在4层级联架构中的模型设计和实现原理;紧接其后介绍多目标排序在推荐系统中的应用,具体介绍阿里巴巴、谷歌等大型互联网公司的实践;最后从不同角度审视推荐系统,介绍公平性问题、知识蒸馏、冷启动等各种前沿实践。本书基于一线研发人员的视角向读者分享推荐系统的实践经验,所有模型结构和前沿实践都在业务场景中落地。
本书适合推荐系统领域的从业者、高校科研人员、高校计算机专业学生,以及对推荐系统感兴趣的产品研发人员和运营人员阅读。