让ChatGPT猜你喜欢——ChatGPT后面的推荐系统

Chat GPT的大热，让人们的视线又一次聚焦于“人工智能”领域。通过与用户持续对话的形式，更加丰富的数据会不断滚动“雪球”，让Chat GPT的回答变得越来越智能，越来越接近用户最想要的答案。ChatGPT能否颠覆当下的推荐系统范式？推荐系统、搜索引擎的未来将何去何从？

而这一概念，其实在过去广泛引用的app中，早有雏形，比如， 淘宝的猜你喜欢，抖音的推荐视频沉浸流等等。而支撑着这些app背后的，就是那个“总能猜中你喜欢的” 推荐系统。无论是内容类平台，还是电商类平台，依靠着不断地与用户交互信息，从而提供给用户越来越精准的推荐场景，而当用户在平台的推荐场景内停留，甚至消费时，平台就达到了获取商业价值的目的，例如抖音的天价广告收入、淘宝的巨额商品佣金，或时其他的附加值，都是应用了这一逻辑。

如果你想要了解更多的人工智能算法逻辑，亦或是知悉推荐系统背后的运作规则，又或是探清风云巨变下的互联网巨头的业务思路，这本《业务驱动的推荐系统：方法与实践》将会是你的不二选择！

1.内容另辟蹊径

《业务驱动的推荐系统：方法与实践》是一本不独以推荐算法为上，而是从业务诉求的视角出发，为读者描绘当下主流推荐系统的设计思想和架构全貌。它首次从业务的视角下，解读了推荐系统的架构设计、评估方法、数据工程、算法原理，并揭秘了在千万级DAU下，工业推荐系统的构建和优化奥秘。

目前市面上介绍推荐系统的书比较同质化，内容都以推荐算法和模型为主，堆砌大量SOTA模型，这就很容易让读者误以为掌握了算法就能做好推荐系统，取得商业收益。但事实上，对于推荐算法工程师而言，算法与模型好比一把屠龙宝刀，如果没有掌握与之配合的修炼心法和功法技巧，就往往发挥不出这个宝器的威力。而这个修炼心法就是通常所讲的业务逻辑，唯有掌握业务驱动算法迭代的方法论，将推荐系统植根于业务之上，才能最大限度的发挥出算法与模型的作用。

此外，本书在介绍基于机器学习、深度学习的推荐算法时，重“为什么”而轻“怎么做”，这也是本书与其他同类书的不同之处。推荐算法相关的研究文献浩如烟海，理解算法选型的根因比知道有哪些算法更重要。

它不仅描绘了当下主流推荐系统的设计思想和架构全貌，还重点突出了系统每个模块所需要解决的问题，进而介绍一至两种，在实践中检验普遍有效、且在学术界具备里程碑性质的算法。从日常工作实际会遇到的问题出发，在学术界每年产出的大量新算法研究中去粗取精，真正意义上的帮助读者识别有价值的算法！

2. 作者背景资深

本书作者傅聪，在推荐系统领域有着丰厚的技术沉淀。他曾在阿里担任推荐和搜索方面的算法专家，独立带领团队负责千万DAU下的推荐和搜索场景，同时也是工业级高性能高维数据检索算法NSG、SSG的发明人。

傅聪的本科与博士均毕业于浙江大学计算机学院，曾留美赴南加州大学做访问学者。师从国家优秀青年学者蔡登教授与国家杰出青年学者何晓飞教授。在两位优秀导师的带领下，他在人工智能、推荐系统、数据库、数据挖掘、自然语言处理、神经网络、知识图谱等多个领域都产出了丰富的研究成果。并在计算机顶级会议或期刊TPAMI、KDD、VLDB、IJCAI、EMNLP、CIKM等发表过多篇论文，目前是TKDE、IJCAI、EMNLP、AAAI、Neuron Computing等国际会议的审稿人。

在学术界时，傅聪已经开始致力于推荐系统、搜索引擎前沿技术的研究，并为日后的工作打下了坚实的学术基础；在工业界时，傅聪在千万级DAU的淘宝电商，以及优酷视频业务的场景下，均成功实现了推荐系统、搜索引擎、搜推融合等技术方向的项目落地。可以说，对于推荐业务，傅聪有着丰富的实战经验和扎实的学术根基。

3. 阅读人群广泛

本书适合从事推荐系统相关工作和学术研究的读者阅读，具体包括：在企业中从事推荐系统算法研发、优化的从业者；在企业中从事推荐系统引擎开发、维护的从业者；在企业中与推荐算法和工程开发相关的人员对接的运营人员和产品设计人员；对推荐系统感兴趣的在校学生；从事推荐算法研究的科研工作者。

通过阅读本书，在校学生可以提前从商业、运营、算法、工程视角了解推荐系统，从而对推荐系统有一个更加立体化的认知；科研工作者可以从业务的视角，重新理解召回、排序和决策智能方面的经典算法和学术界有里程碑意义的算法；企业新手可以从技术和业务的双重视角，提前了解并规划工程师的成长路径，以达到事半功倍的效果；企业从业人员可以从业务视角理解推荐系统的顶层设计，掌握业务驱动的推荐系统设计思想、评估方法。

4.书本内容

本书内容分为四部分。

第一部分（第1~3章）：业务驱动下的推荐系统总览。从宏观角度介绍推荐系统架构设计、评估方法以及背后的业务思考。
第二部分（第4~7章）：推荐系统的数据工程。数据是推荐系统的根本，如何获取各类正确的数据并构建合理的特征体系是这一部分的主要内容。
第三部分（第8~10章）：推荐系统的算法原理与实践。主要介绍推荐系统的核心算法模块以及相关代表性算法。
第四部分（第11章）：推荐算法工程师的自我成长。主要介绍推荐算法工程师的成长路径。

计算机专业及有人工智能算法研究背景的读者，阅读本书的难度不大；缺少人工智能、机器学习算法相关内容预备知识的读者，在阅读第三部分时可能会遇到困难，建议学习机器学习相关内容后再阅读本书；无专业背景的推荐业务相关的运营人员和产品设计人员，可以仅阅读每章关于业务价值和问题建模的部分，以便于理解研发人员的思维模式。

5.目录

前言

第一部分　业务驱动下的推荐系统总览

第1章　从业务视角看推荐系统2

　1.1　推荐系统的定义与商业价值2

1.1.1　推荐系统的基本概念与业务驱动思想3

1.1.2　浅谈个性化推荐带来的商业价值7

1.2　从运营、算法与工程视角看推荐系统7

1.2.1　推荐业务运营思维：货找人8

1.2.2　推荐算法建模思维：人找货10

1.2.3　推荐引擎工程展望：服务产品化11

第2章　从业务视角看推荐系统的顶层设计12

　2.1　业务驱动下的推荐系统设计思想12

2.1.1　业务无关的推荐系统抽象13

2.1.2　推荐算法模块核心能力的建设15

　2.2　从系统框架透视业务生态循环17

2.2.1　系统大图剖析17

2.2.2　监察者：埋点日志服务17

2.2.3　业务大脑：数据计算、分析及仓储服务18

2.2.4　主循环系统：召回与排序模块19

2.2.5　副循环系统：运营管控与作业模块21

2.2.6　新陈代谢：运维与实验平台22

2.3　迭代效率最大化：图化服务和配置化迭代25

第3章　评估推荐系统的方式与维度27

　3.1　业务驱动型推荐系统的评估要点27

3.1.1　体验优先准则和量化方式28

3.1.2　评估推荐系统的方法论29

3.1.3　从3种业务价值出发设计评估体系31

3.2　B端业务：B端用户体验的评估维度31

3.2.1　平台玩法的可解释性31

3.2.2　投放效果的可预测性32

3.2.3　投入产出比33

3.2.4　基尼指数34

3.3　C端业务：C端用户体验的评估维度34

3.3.1　兴趣相关性35

3.3.2　内容质量35

3.3.3　结果多样性35

3.3.4　推荐惊喜性36

3.4　平台成长：平台价值评估维度36

3.4.1　产品调性和品牌印象37

3.4.2　消费与转化率37

3.4.3　高、中、低活用户留存37

3.4.4　活跃用户量38

　3.5　评估方法概览38

3.5.1　用户调研39

3.5.2　离线评估39

3.5.3　在线评估42

3.6　AB实验42

3.6.1　AB实验中的流量切分设计43

3.6.2　AB实验的通用流程44

3.6.3　实验结果的显著性校验和关联分析44

3.6.4　实验报表与监控报警45



第二部分　推荐系统的数据工程

第4章　业务标签体系48

　4.1　业务标签体系概述48

4.1.1　业务标签体系的含义48

4.1.2　业务标签体系的价值49

4.1.3　标签体系为什么要业务定制化49

4.2　业务标签体系的设计思路50

4.2.1　业务标签体系的概念设计50

4.2.2　业务标签体系的系统设计52

4.3　业务标签的挖掘方法53

4.3.1　提取式标签挖掘54

4.3.2　生成式标签挖掘55

4.3.3　基于主动学习的人机协同标注系统56

4.3.4　标签改写、纠错与聚合56

4.3.5　标签权重计算57

4.4　业务标签体系的评估方法58

4.4.1　离线评估58

4.4.2　在线评估59

第5章　用户画像：业务层面的人格抽象60

　5.1　用户画像概述60

5.1.1　用户画像的含义60

5.1.2　用户画像的业务价值和算法价值61

5.2　用户画像设计61

5.2.1　用户画像概念体系设计61

5.2.2　用户画像数据系统设计64

5.3　用户画像的构建与迭代65

5.3.1　人工挖掘方法65

5.3.2　基于机器学习的挖掘方法66

5.3.3　用户画像的优化迭代68

5.3.4　用户画像权重计算70

5.4　用户画像的评估方法71

5.4.1　离线评估71

5.4.2　在线评估72

第6章　生态循环的血液：数据获取与处理73

　6.1　埋点日志服务与埋点体系的设计思想73

6.1.1　埋点日志服务简介74

6.1.2　业务驱动的埋点体系设计思想75

6.2　可扩展的业务埋点体系77

6.2.1　SPM埋点体系77

6.2.2　SCM埋点体系77

6.2.3　扩展埋点体系EXT78

6.2.4　会话级埋点设计与消费路径跟踪78

6.3　基于埋点数据的处理和分析79

6.3.1　常见重要数据指标释义79

6.3.2　漏斗效应和优化分析81

第7章　业务定制化特征和样本工程设计83

　7.1　推荐特征体系概览83

7.1.1　推荐特征体系简介84

7.1.2　特征体系的设计思想85

7.2　推荐系统特征设计及案例86

7.2.1　用户描述性特征86

7.2.2　用户特征的人群泛化87

7.2.3　内容描述性特征87

7.2.4　内容统计类特征88

7.2.5　内容统计类特征泛化88

7.2.6　用户与内容的交叉特征设计89

7.2.7　用户历史行为序列特征设计91

7.2.8　实时特征的定义和价值92

7.2.9　实时统计特征设计和数据流程92

7.2.10　基于机器学习的特征构造94

7.3　特征应用常见问题95

7.3.1　多值特征处理95

7.3.2　在线、离线特征的一致性96

7.4　特征去噪96

7.4.1　威尔逊置信区间方法96

7.4.2　对数平滑方法97

7.4.3　百分位点离散化方法97

7.5　特征样本构造和模型训练97

7.6　时间穿越及处理98

7.6.1　时间穿越的定义及影响98

7.6.2　样本现场还原98

　7.7　特征与样本消偏99

7.8　特征评估方法100



第三部分　推荐系统的算法原理与实践

第8章　业务驱动视角下的召回技术104

　8.1　推荐系统召回技术概览104

8.1.1　推荐系统召回技术的业务定位104

8.1.2　业务驱动下的召回技术建模思维106

8.2　召回中的策略框架108

8.2.1　圈池策略108

8.2.2　召回多样性策略108

8.2.3　基于业务策略的召回109

8.2.4　召回模块框架109

8.3　U2I召回算法111

8.3.1　UserCF算法111

8.3.2　矩阵补全算法113

8.3.3　向Neural CF迈进：Deep Match框架114

8.4　I2I召回算法117

8.4.1　I2I召回的业务价值及特点117

8.4.2　Trigger Selection方法118

8.4.3　ItemCF算法118

8.4.4　Item2Vec算法118

8.5　基于图结构的召回算法119

8.5.1　图召回的前世今生和业务价值119

8.5.2　Swing I2I召回算法120

8.5.3　GraphSage算法122

8.6　向量召回的另一面：近似检索算法127

8.6.1　ENN向量检索与ANN向量检索128

8.6.2　ANN向量检索算法的分类及特点130

8.6.3　HC检索算法131

8.6.4　IVF-PQ检索算法与Faiss133

8.6.5　SSG检索算法138

8.7　召回中的采样技术140

第9章　业务驱动视角下的排序技术142

　9.1　排序模块概览142

9.1.1　排序模块的业务价值142

9.1.2　业务驱动下的排序模块组件143

9.2　粗排模块144

9.2.1　粗排模块的业务价值和技术思考变迁144

9.2.2　粗排算法选型原则145

9.2.3　GBDT算法145

9.2.4　GBDT+LR复合排序149

9.2.5　双塔深度网络150

9.2.6　从精排模型蒸馏出粗排模型151

9.3　精排模型152

9.3.1　精排模型的特点与业务价值152

9.3.2　从LR到FM：从半人工走向全自动153

9.3.3　端到端暴力美学：精排CIN模块155

9.3.4　序列特征建模157

9.3.5　稠密特征处理158

9.3.6　归纳偏执处理159

9.3.7　特征融合160

9.3.8　广义LR排序范式160

9.4　多准则排序161

9.4.1　多准则排序简介及业务意义161

9.4.2　MMoE建模多准则任务161

9.4.3　多目标的融合163

9.4.4　从Point-wise到List-wise：强化学习重排序165

9.4.5　解决数据匮乏问题：生成式强化学习重排167

第10章　算法辅助人工：决策智能168

　10.1　决策智能概述168

10.1.1　决策智能的含义168

10.1.2　推荐业务中的决策智能169

　10.2　决策智能与推荐探索利用机制169

10.2.1　冷启动中的决策智能169

10.2.2　场景冷启动中的人工部分170

10.2.3　新用户冷启动中的人工部分172

10.2.4　冷启动决策中的迁移学习173

10.2.5　新内容冷启动算法175

　10.3　因果推断技术178

10.3.1　决策智能与因果推断178

10.3.2　智能营销与上推建模179

10.4　流量调控181

10.4.1　流量调控的业务价值与应用场景181

10.4.2　异质内容混排及强化学习应用181

10.4.3　履约保量的流量调控及算法184



第四部分　推荐算法工程师的自我成长

第11章　推荐算法工程师的成长路径188

　11.1　技术：推荐算法工程师的立身之本188

11.1.1　推荐算法工程师的知识体系188

11.1.2　推荐算法工程师的技术成长路径189

11.2　业务：推荐算法工程师的立业之道190

11.2.1　推荐算法工程师的业务成长路径191

11.2.2　推荐算法业务目标优化迭代的节奏192

11.3　推荐算法工程师的自我修养193

11.3.1　推荐算法工程师的工作日常193

11.3.2　优秀的推荐算法工程师的特征194

11.3.3　在自证价值和技术沉淀中寻求平衡195