【转】推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干货分享
本文汇集了关于推荐系统原理、工程、各大长推荐架构、经验相关的纯干货。原理篇整理了内容推荐、协同推荐、举证分解、模型融合、Bandit和深度学习相关的经典方法。工程篇整理了推荐系统常见架构、关键模块和效果验证相关的资源。实战部分整理了Netfix、Hulu、Youtube、Google、Amazon、BAT、TMD等各大互联网公司推荐系统实战相关的经验。
本资源整理自网络，原文地址：https://github.com/gaolinjie/awesome-recommender-systems
原理篇
内容推荐
Bag of Tricks for Efficient Text Classification - Facebook 开源的文本处理工具 fastText 背后原理。可以训练词嵌入向量，文本多分类，效率和线性模型一样，效果和深度学习一样，值得拥有。- 2016
The Learning Behind Gmail Priority - 介绍了一种基于文本和行为给用户建模的思路，是信息流推荐的早期探索，Gmail 智能邮箱背后的原理。- 2010
Recommender Systems Handbook(第三章，第九章) - 这本书收录了推荐系统很多经典论文，话题涵盖非常广，第三章专门讲内容推荐的基本原理，第九章是一个具体的基于内容推荐系统的案例。- 2010
文本上的算法 - 介绍了文本挖掘中常用的算法，及基础概念。内容涉及概率论，信息论，文本分类，聚类，深度学习，推荐系统等。- 2016
LDA 数学八卦 - 由浅入深地讲解 LDA 原理，对于实际 LDA 工具的使用有非常大的帮助。- 2013
近邻推荐
Amazon.com recommendations: item-to-item collaborative filtering - 介绍 Amazon 的推荐系统原理，主要是介绍 Item-Based 协同过滤算法。- 2001
Slope One Predictors for Online Rating-Based Collaborative Filtering - Slope One 算法。- 2007
Item-Based Collaborative Filtering Recommendation Algorithms - GroupLens 的研究团队对比了不同的 Item-to-Item 的推荐算法。- 2001
Collaborative Recommendations Using Item-to-Item Similarity Mappings - 是的，Amazon 申请了 Item-Based 算法的专利，所以如果在美上市企业，小心用这个算法。- 1998
Recommender Systems Handbook（第 4 章） - 第四章综述性地讲了近邻推荐，也就是基础协同过滤算法。- 2010
矩阵分解
Matrix Factorization and Collaborative Filtering - 从 PCA 这种传统的数据降维方法讲起，综述了矩阵分解和协同过滤算法。矩阵分解也是一种降维方法。- 2013
Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model - 把矩阵分解和近邻模型融合在一起。- 2008
BPR- Bayesian Personalized Ranking from Implicit Feedback - 更关注推荐结果的排序好坏，而不是评分预测精度，那么 BPR 模型可能是首选，本篇是出处。- 2012
Collaborative Filtering for Implicit Feedback Datasets - 不同于通常矩阵分解处理的都是评分数据这样的显式反馈，本文介绍一种处理点击等隐式反馈数据的矩阵分解模型。- 2008
Matrix Factorization Techniques For Recommender Systems - 本文是大神 Yehuda Koren 对矩阵分解在推荐系统中的应用做的一个普及性介绍，值得一读。- 2009
The BellKor Solution to the Netflix Grand Prize - 也是一篇综述，或者说教程，针对 Netflix Prize 的。- 2009
模型融合
Adaptive Bound Optimization for Online Convex Optimization - FTRL 是 CTR 预估常用的优化算法，本文介绍 FTRL 算法原理。- 2010
在线最优化求解 - 是对 FTRL 的通俗版解说。- 2014
Ad Click Prediction: a View from the Trenches - FTRL 工程实现解读。- 2013
Factorization Machines - 提出 FM 模型的论文，FM 用于 CTR 预估。- 2010
Field-aware Factorization Machines for CTR Prediction - FFM 模型，用于 CTR 预估。- 2016
Practical Lessons from Predicting Clicks on Ads at Facebook - 提出了 LR + GBDT 的 CTR 预估模型。- 2014
Wide & Deep Learning for Recommender Systems - 提出融合深度和宽度模型的Wide&Deep 模型，用于 CTR 预估。- 2016
Bandit 算法
Introduction to Bandits: Algorithms and Theory - 介绍 bandit 算法概念，理论和算法。分两部分分别对应小的选项候选集和大的选项候选集。- 2011
深度学习
Deep Neural Networks for YouTube Recommendations - 介绍 YouTube 视频推荐系统在深度神经网络上的尝试。能从中看到 wide&deep 模型的影子。- 2016
其他实用算法
Detecting Near-Duplicates for Web Crawling - 在这篇论文中提出了 simhash 算法，用于大规模网页去重。- 2007
工程篇
常见架构
Activity Feeds Architecture - 本文非常详细地介绍了社交动态信息流的架构设计细节。- 2011
关键模块
Overlapping Experiment Infrastructure- More, Better, Faster Experimentation - ABTest 实验平台的扛鼎之作，Google 出品，值得拥有。- 2010
效果保证
Tutorial on Robustness of Recommender Systems - 本文非常详细讨论了对推荐系统的攻击和防护，并有实验模拟。- 2011
大厂实战
Netflix
Netflix大溃败：放弃算法崇拜，向好莱坞低头 - 2018
你看到哪版电影海报，由算法决定：揭秘Netflix个性化推荐系统 - 2017
Netflix与推荐系统 - 2016
Hulu
干货：从相关性到RNN，一家线上“租碟店”的视频推荐算法演进 | 公开课实录 - 2018
公开课 | 看了10集《老友记》就被系统推荐了10季，Hulu如何用深度学习避免视频推荐的过拟合 - 2018
YouTube
反思 Youtube 算法：个性化内容推荐能毁掉你的人格 - 2018
4篇YouTube推荐系统论文, 一起来看看别人家的孩子 - 2017
用DNN构建推荐系统-Deep Neural Networks for YouTube Recommendations论文精读 - 2017
原来YouTube推荐系统的内幕是这样…… - 2017
Youtube 短视频推荐系统变迁：从机器学习到深度学习 - 2017
谷歌推出TF-Ranking：用于排序算法的可扩展TensorFlow库 - 2018
Microsoft
如何将知识图谱特征学习应用到推荐系统？ - 2018
Amazon
重读经典 | 亚马逊“一键下单”的背后——个性化推荐系统的发展历程 - 2018
Kaggle
Kaggle大神带你上榜单Top2%：点击预测大赛纪实（上） - 2017
Kaggle大神带你上榜单Top2%：点击预测大赛纪实（下） - 2017
美团
独家揭秘！2.5亿用户的美团智能推荐平台是如何构建的？ - 2018
深度学习在美团搜索广告排序的应用实践 - 2018
美团“猜你喜欢”深度学习排序模型实践 - 2018
深度学习在美团推荐平台排序中的运用 - 2017
旅游推荐系统的演进 - 2017
美团O2O排序解决方案——线上篇 - 2015
美团O2O排序解决方案——线下篇 - 2015
美团推荐算法实践 - 2015
今日头条
干货丨3分钟了解今日头条推荐算法原理（附视频+PPT） - 2018
技术帖：解析今日头条公开的推荐算法 - 2018
深度解密今日头条的个性化资讯推荐技术 - 2017
抖音
抖音推荐系统冷启动 - 2018
微博
微博推荐系统架构揭秘：基于机器学习的个性化Push应用实践 - 2018
机器学习在热门微博推荐系统的应用 - 2018
微博推荐算法如何设计 - 2015
爱奇艺
爱奇艺个性化推荐排序实践 - 2017
搜狗
搜狗深度学习技术在广告推荐领域的应用 - 2018
优酷
优酷视频基于用户兴趣个性化推荐的挑战和实践 - 2018
优酷视频精准推荐系统实践 - 2016
京东
京东个性化推荐系统实战（上） - 2018
京东个性化推荐系统实战（下） - 2018
深解京东个性化推荐系统演进史 - 2017
京东推荐系统中的机器学习与大规模线上实验 - 2017
京东推荐系统实践 - 2015
阿里巴巴
【阿里算法天才盖坤】解读阿里深度学习实践，CTR 预估、MLR 模型、兴趣分布网络等 - 2018
阿里妈妈首次公开新一代智能广告检索模型，重新定义传统搜索框架 - 2018
论文Express | 淘宝广告是怎么优化的？阿里团队实时竞价系统策略 - 2018
个性化app推荐技术在手淘的全面应用 - 2018
深度丨110亿美金还不够，阿里使用这种AI手段创造更多广告收入（附PPT）丨CCF-GAIR 2017 - 2017
千亿特征流式学习在大规模推荐排序场景的应用 - 2017
腾讯
深度技术解析，为什么说QQ音乐搜索体验做到了极致？ - 2017
百亿级通用推荐系统实践 - 2016
美图
干货 | 美图个性化推荐的实践与探索 - 2018
携程
干货 | 携程实时用户行为系统实践 - 2017
饿了么
个性化推荐沙龙 | 饿了么推荐系统的从0到1（含视频） - 2017
58
58同城推荐系统架构设计与实现 - 2016
从0开始做互联网推荐-以58转转为例 - 2016
搜狐
搜狐视频个性化推荐架构设计和实践 - 2016
百度
百度大规模推荐系统实践 - 2016