达观数据个性化推荐系统实践

在DT(data technology)时代，人们的日常生活已经和各种各样的数据密不可分，例如在网络购物、在线视频、在线音乐、新闻门户等都在产生海量的数据。海量的数据产生也带来了信息过载和选择障碍的困扰，每个用户的时间和精力是有限的，怎样帮助用户进行信息的过滤和选择，在DT时代是非常有价值的。

面对“信息过载”，个性化推荐根据用户的历史行为数据进行深层兴趣点挖掘，将用户最感兴趣的物品推荐给用户，从而做到千人千面，不仅满足了用户本质的信息诉求，也最大化了企业的自身利益，所以个性化推荐蕴含着无限商机。

美国著名视频网站Netflix曾举办过全球的推荐系统比赛，悬赏100万美元，希望参赛选手能将其推荐算法的预测准确度提升至少10%。美国最大的视频网站YouTube曾做过实验比较个性化推荐和热门视频的点击率，结果显示个性化推荐的点击率是后者的两倍。号称“推荐系统之王”的电子商务网站亚马逊曾宣称，亚马逊有20%～30%的销售来自于推荐系统。其最大优势就在于个性化推荐系统，该系统让每个用户都能有一个属于自己的在线商店，并且在商店中能招到自己最感兴趣的商品。

达观数据是专注于企业大数据应用服务的高科技创业公司，致力于为新媒体、电商、视频、金融、企业等提供高质量的大数据挖掘技术服务，通过推荐系统等数据技术服务快速提升企业的经营业绩。达观数据拥有雄厚的研发推荐系统的技术积累，曾在ACM、CIKM、KDD、Hackathon等国际竞赛的获奖，在内容推荐，文本挖掘、广告系统等方面申请有超过三十项国家发明专利。本文从数据处理、用户行为建模到个性化推荐，分享达观数据在个性化推荐系统方面积累的一些经验。

1.数据收集及预处理

推荐系统的本质其实就是通过一定的方式将用户和喜欢的物品联系起来。物品和用户自身拥有众多属性信息进行标识。

物品表示推荐系统的客体，在不同的应用场景下，物品指代不同的待推荐事物。比如，在书籍推荐中，物品表示书籍；在电商推荐中，物品表示商品；在电影推荐中，物品表示电影；在社交网络推荐中，物品表示人。商品的多种属性标识不仅标识自己是什么，也反应了和其它商品的关系，同时也为量化用户需求的兴趣点提供了依据。用户表示推荐系统的主体，自身属性包括人口统计学信息以及从用户行为数据中挖掘分析得到的偏好等。

用户的每一次的行为操作无不反应用户内心的本质需求，包括页面浏览、点击、收藏、购物、搜索、打分、评论等，这些数据是个性化推荐系统的最重要的数据。根据用户自身独有的行为数据，可以为每一个用户生成特有的画像。

数据的可靠性很大程度上决定了推荐系统的准确性。原始的数据源中会混杂各种各样的脏数据，一方面是在数据采集和上报的过程中，出现一些异常数据，另一方面也包括系统上线运行时所产生的作弊数据。

数据挖掘的首要步骤就是对原始数据的深度清洗。良好的数据预处理可以对个性化推荐的效果起到事半功倍的效果。数据采集和上报的异常数据，需要结合数据库表结构和实际场景做过滤，如空值检查、数值异常、类型异常、出现“\r”和“\n”导致的字符串换行、数据去重。另外，对于 “人为”的脏数据，如刷点击、刷榜单等行为，这些关键数据会严重影响后续算法的效果，需要有一些反作弊策略进行清除或者降权，如进行session分析，结合cookie、ip、行为发生的时间和次数等一些规则进行过滤。达观数据在反作弊方面也做了很多工作，包括基于机器学习的方法和一些强规则，可有效筛选各种行为上的作弊情况。

2.用户行为建模

基于用户历史行为的进行挖掘分析，得到刻画用户本质需求的一组属性集合，即得到用户模型，个性化推荐的准确性很大程度上依赖于对用户属性刻画的准确性。达观数据采用了多种方式进行量化，主要包括用户偏好分析和深层用户兴趣点挖掘。（达观数据联合创始人于敬）

1) 用户偏好分析

结合用户历史行为和物品信息，可以得到每种行为下的用户偏好数据，包括偏好的维度及偏好程度，如偏好的物品、品牌、类别、标签等。

再将各种行为的偏好数据合并，最终得到用户在物品、品牌、类别、标签等各个维度上的偏好程度。合并不同维度的数据时，需要考虑到不同的行为类型反应用户偏好程度是不同的。比如购买行为比点击行为更能反映用户的偏好，则由购买行为计算得到的偏好数据在合并时赋予的权重要高一些。

要保证各种行为的各个维度的数据具有可比性，需要进行归一化，而且同纬度的要采用相同的归一化方法。比如常见的min-max、log函数转换、z-score

处理均值问题时，会碰到一个置信度相关度问题。如10张投票中有1张赞成票和100张投票中有10张赞成票，虽然均值的角度来说都是0.1，但是后者的可信度更高。

对于样本较多的情况（np > 5且 n(1-p) > 5），可以使用“正态区间”，样本少的话准确性就很差。解决小样本的均值问题，可以基于“威尔逊区间”，使用它的下限值可有效降低“赞成票比例”的作用。

2) 深层用户兴趣点挖掘

除了结合物品信息进行分析计算得到的偏好信息外，还有一部分深层兴趣点需要挖掘，这部分主要用于对细分的用户群体进行更有针对性、更有效的推荐。划分群体的准则要根据具体的业务需求而定，比如是否是高价值用户、是否价格敏感、是否对大牌情有独钟、大神用户和小白用户的区分、喜欢热门流行还是偏小众的等等。

借助机器学习中的分类（如神经网络、Random Forest、SVM）和聚类（如FCM、k-means）算法可有效解决用户群体的划分问题。使用到的训练和测试数据需要先根据一些规则粗略得到候选集，在结合人工标记的进行筛选。同时从物品和用户的属性数据中也能抽取大量关键特征。经过模型的训练、测试和后处理，从而将用户划分到不同的群体。

3) 计算相似用户

在个性化推荐中，应用很广泛的是基于用户的协同过滤算法。具体又分为item-based协同过滤和user-based协同过滤，其中user-based协同过滤算法核心思路是相似用户的计算。相似度的距离计算公式包含多种方法，如余弦相似度、皮尔逊相关度等。不同的相似度计算方法有各自的优缺点，适用不同的应用场景，可以通过对比测试进行选取。达观数据的实践经验里，一般来说，在基于用户的推荐系统中，皮尔逊相关系数效果要好一些。基于物品的推荐中，余弦相似度方法比皮尔逊的表现更好。

在实际业务中，相似度的计算方法都有很多变种，过于冷门和过于热门的物品对衡量用户间的相似度时区分度不好，这时就需要进行归一。下面的相似度计算方法将降低热门物品对用户相似度的影响。

这种基于K近邻的选取相似用户的方法，相似度的阈值设置对结果影响很大，太大的话召回物品过多，准确度会有下降。

4) 时间维度上的考量

在处理各个维度的偏好数据时，需要考虑用户行为的有价值程度是随时间衰减的，即行为发生时间距当前的时间越近，得到的数据越能表征用户将来的行为。毕竟用户的口味随着时间的推移是会变化的，所以时间越近权重越高。衰减函数可以选择离散型或者连续性的。

另外，还需要考虑偏好和兴趣点数据的在时间上的持续和变化过程，即需要刻画用户的口味呈现的时间规律。为了解决这个问题，可以根据不同的时间间隔来界定，分长期、短期、近期和实时四个时间维度。长期的覆盖了用户几乎一直不变的兴趣，短期的覆盖了用户变化中的兴趣，而近期则反映了用户的“尝鲜”的特点。这三种兴趣是离线计算的，此外还要考虑用户的实时兴趣，实践中可以通过很短的时间间隔进行近线挖掘分析，从而快速适应用户当前的信息需求。比如选取最近1个月、最近1周和最近2天来界定长期、短期和近期。

3.个性化推荐的实践经验

基于准确的用户模型和原始物品属性数据，使用多种推荐算法和效果优化策略，个性化推荐系统将用户最感兴趣的物品列表精准推荐给当前用户。由于不同算法有自己的应用场景，需要根据业务需要、数据的丰富程度、效果衡量指标等选择合适的推荐算法，然后根据推荐结果进行不断迭代，最终完成符合预期效果的个性化推荐系统。

1) 基于内容的推荐

主要过程是将用户的信息特征和物品对象的特征相匹配的过程，从而得到待推荐的物品集合。通过用户模型中的类别、标签、品牌等各维度的偏好数据，在全量物品列表中寻找与之匹配的用户感兴趣的物品列表，并给出用户感兴趣的程度。根据挖掘的兴趣点，对部分用户进行有针对性的推荐，为其“量身定制”推荐结果，满足其特有的需求。

基于内容的推荐方法，优点是能保证推荐内容的相关性，并且根据内容特征可以解释推荐结果，而且对新物品的推荐是也能有很好的考量。缺点是由于内容高度匹配，导致推荐结果的惊喜度较差，而且对新用户不能提供可靠的推荐结果。

另一个重要的优势，是基于内容的推荐能很好的解决推荐系统的“冷启动”问题，因为这类推荐算法不需要依赖用户行为的积累，当待推荐的物品是新出现时，基于内容的推荐算法往往是最有效的方法。

2) 协同过滤

协同过滤方法主要基于群体智慧，认为相似的用户对新物品的喜好也是相似的，相似的物品对于同一用户来说，喜好程度也是相似的。这种方法克服了基于内容方法的一些弊端，最重要的是可以推荐一些内容上差异较大但是又是用户感兴趣的物品。大致分为两类：基于近邻的方法（Neighbour-based）和基于模型的方法（Model-based）。

基于近邻的方法，在数据预测中直接使用已有数据进行预测，将用户的所有数据加载到内存中进行运算。基于用户的协同过滤是，获取和当前用户相似的用户列表，将这些用户喜欢的物品推荐给当前用户。基于物品的协同过滤，获取当前用户偏好的物品列表，将和这些物品相似的物品加入到推荐的候选集当中。

基于模型的方法则是通过数据进行模型训练，然后为用户预测新的物品，主要包括：pLSA(Probabilistic Latent Semantic Analysis)、LDA(Latent Dirichlet Allocation)、SVM(Support Vector Machines)、SVD(Singular Value Decomposition)等。

推荐系统效果提升的一个有效方式是用户反馈数据的使用，包括显示反馈和隐式反馈。SVD++在SVD的基础上引入隐式反馈，将用户的点击反馈数据等作为新的参数加入到模型中。

具体实现可以参考SVDFeature、LibFM、GraphLab。

在达观数据的实践中，在有充分用户行为数据的条件下进行实验对比，发现基于协同过滤的推荐算法，效果要大大优于基于内容的推荐算法，但是这也依赖于对用户行为数据的积累和充分清洗。

3) 基于知识的推荐

当用户的行为数据较少同时又有明确的需求时，协同过滤和基于内容的推荐效果不尽人意，但是基于知识的推荐（Knowledge-based Recommendation）可以帮助我们解决这类问题。这种方法不需要用户行为数据就能推荐，依赖人工的先验经验，所以也能较好的处理冷启动问题。

基于知识的推荐其基础是知识库，或称为Ontology。与其相关联的技术包括自然语言处理、语义分析等。例如“手机”和“手机壳”，“笔记本电脑”和“macbook”，在知识库概念里存在“本体”、“实例”、“关系类型”等抽象概念，利用知识库的延伸或拓展可以形成若干规则、或相互关系，并进而形成推荐体系。推荐结果主要依赖两种形式，一是用户需求跟物品之间相似度，一种是明确的推荐规则。实际应用主要是以强规则为主。在达观科技的实践中，常用于少量特殊场景下的推荐修正。

4) 推荐补足策略

当用户历史数据比较局限或者在冷启动的时候，导致待推荐物品的数量不足没有达到预定要求时，根据用户模型的数据，结合挖掘的各种榜单进行补足，如全局热门、分类热门、潜力物品、潮流物品等。

推荐补足的出发点有很多，第一是确保推荐结果的多样性，因为用户的偏好往往是多样的，因此需要多样的结果来分别满足。单一的推荐算法往往推出的结果较为单调，而通过特定的补足策略可以照顾到多样性的需求。第二是解决推荐的新颖性问题。通常较为小众的物品往往难以得到有效的曝光，或者新出现的内容由于积累的用户行为数据少，往往被压制，适当的进行这类结果的补足可以较好的提高推荐结果的新颖性。

5) 多算法融合

前文提到单一算法有各自的优缺点，并不能满足实际的线上需求。所以为了提供最优质的个性化推荐服务，保证推荐结果的多样性、新颖性和惊喜度，需要融合多个推荐算法，进行混合推荐。常见的混合方法有以下几种：

a) 加权式混合

主要是对每个算法赋予不同的权重，通过将多个推荐算法的结果进行加权组合在一起，最后排序得到推荐结果。

不同推荐算法的结果需要归一化在相同的范围内，并且各个算法的权重之和为1。

b) 交叉式混合

主要是直接将不同的推荐算法的结果组合在一起推荐给用户，从而每个推荐算法的优质结果都会被展示给用户。

c) 切换式混合

主要是根据不同应用场景决定使用哪一种推荐算法，应用场景改变的话则切换推荐算法。例如在新闻推荐时，首先使用基于内容的推荐，当找不到合适的内容时，接着使用协同过滤算法进行跨内容的推荐，最后使用朴素贝叶斯分类器找到与用户长期兴趣匹配的结果。

d) 串联混合

主要是将不同的推荐算法进行排序，后面的推荐算法对前面的不断优化，最终得到一个多级优化下的推荐结果。

e) 分级混合

主要是先界定不同的算法的好坏，优先使用好算法的推荐结果，得不到结果时再使用次好的，依次类推。

达观数据在实践中充分利用了各种混合方法来提高推荐效果，并取得了优异的成效。例如基于加权式和分级混合的流程是，首先通过权重的大小来衡量每种推荐算法结果的好坏，产生待推荐的物品集合，在合并的时候，将优先使用好的推荐算法的结果。关于算法权重的设置，基于用户反馈数据，简单的方法可以使用LR（Logistic Regression）。实践中则是各种指标综合权衡，整个过程也要复杂很多。

6) 重排序

排序学习(Learning To Rank, LTR)一直是机器学习中的热门研究领域。由于排序过程牵涉到各种维度的参数数据，导致调参费时费力，而且很可能会出现过拟合现象。而机器学习方法不仅有成熟的理论基础，而且很容易融合多种特征，通过不断的迭代来进行参数优化，可有效解决数据稀疏、过拟合等问题。著名的Netflix 公司就在他们的推荐系统中全面应用了LTR 技术。

对于已标注的训练集，首先选定LTR方法，确定损失函数，以最小化损失函数为目标进行优化即可得到排序模型的相关参数，这就是学习过程。预测过程将待预测结果输入学习得到的排序模型中，即可得到结果的相关得分，利用该得分进行排序即可得到待预测结果的最终顺序。LTR分按点(pointwise)、按对(pairwise) 和按表(listwise) 三种方法，涉及到的常见模型有LR(Logistic Regression)、SVM、DT(Decision Tree)。

关于排序模型的选择，LR 算法主要适用于特征数很多、样本量很大的情况。如果是样本量很大，但是特征比较少的情况时，建议使用DT的算法。主要是因为在特征数较少时，对应的问题往往是非线性的，此DT算法可以发挥自身的优势。另外，SVM在解决非线性分类问题是效果也非常好。相对于另外两种方法，按表的方法往往更加直接，它专注于自己的目标和任务，直接优化排序结果，因此往往效果也是最好的。

经过多个推荐算法的处理，最终得到待推荐物品的结合，使用少量维度的特征进行排序过于简单，效果也大打折扣。基于推荐算法得到的相关特征，结合物品和用户的特征进行组合，可以得到各种特征，并且有些特征是正相关有些是负相关，需要不断优化。借助机器学习方法得到了最终的物品排序，呈现给用户。

4.结束语

本文从基本的数据处理、构建用户模型到个性化推荐，介绍了达观数据的一些实践个性化推荐方面的经验。个性化推荐系统可以有效解决信息过载和长尾物品两个方面的问题，不仅提供了极佳的用户体检，满足了用户的信息需求，也帮助了企业充分利用其中蕴含的商机，提升经营业绩。达观数据一直致力于为企业提供优质的大数据服务，经过多年的积极探索，目前在个性化推荐系统研发和效果提升方面已经积累了丰富的实战经验。当然新技术也在不断出现，深度学习的兴起也给个性化推荐效果的提升带来了更大的契机和想象空间，达观数据也在这方面进行不断探索和测试，后续有机会再跟大家一起分享。

作者简介

于敬，同济大学计算机应用技术专业硕士，现任达观数据联合创始人，曾在盛大创新院智能推荐组负责大数据分布式处理、数据挖掘和分析、智能推荐，在盛大文学数据中心负责用户行为建模、个性化推荐、大数据处理、数据挖掘和分析、文本智能审核、反作弊和广告投放引擎。对智能推荐、数据挖掘、大数据技术和广告引擎有较深入的理解和实践经验。