推荐系统评价指标综述

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2022年2月份热门报告盘点

机器学习在B站推荐系统中的应用实践

小红书推荐系统中台应用实践

微信视频号实时推荐技术架构分享

本文对现有的推荐系统评价指标进行回顾，并对评价指标的优缺点以及适用环境进行总结。

评测方法

推荐系统的评价可分为在线评价和离线评价两种方式：

• 在线评价：根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现。

• 离线评价：根据模型在验证集的表现衡量推荐系统的质量。

目前常用的在线测试方法之一是A/B测试，核心思想和控制变量法类似，它的核心思想是：多个方案参与实验，每个方案只有一个变量不同。

评测指标

准确度指标

推荐准确度是评价推荐算法最基本的指标。它衡量的是推荐算法在多大程度上能够准确预测用户对推荐商品的喜欢程度。可将准确度指标分为4类，即预测评分准确度、预测评分关联性、分类准确度和排序准确度。

• MAE

• MSE

• Spearman

• Pearson

• Kendall’s Tau

• AUC

• F1

排序结果指标

推荐结果的排序指标衡量的是排序结果有效的指标。排序准确度指标来度量算法得到的有序推荐列表和用户对商品排序的统一程度。

• DCG

• NDCG

• Rank score

覆盖率指标

覆盖率指标是指算法向用户推荐的商品能覆盖全部商品的比例。覆盖率尤其适用于那些需要为用户找出所有感兴趣的商品的系统。

• 预测覆盖率：预测评分的商品占所有商品的比例

• 推荐覆盖率：为用户推荐的商品占所有商品的比例

• 种类覆盖率：为用户推荐的商品种类占全部种类的比例

多样性和新颖性

多样性衡量推荐系统对不同用户推荐不同商品的能力，多样性体现在用户间的多样性和是用户内的多样性，可以用汉明距离衡量推荐下列表的相似度。

新颖性衡量推荐系统是向用户推荐非热门非流行商品的能力，最简单的 方法是利用推荐商品的平均度。平均度越小，新颖性就越高。

指标汇总

「 更多干货，更多收获 」

推荐系统工程师技能树

【免费下载】2022年2月份热门报告盘点

推荐系统的变与不变

腾讯信息流推荐业务实践

大数据驱动的因果建模在滴滴的应用实践

联邦学习在腾讯微视广告投放中的实践机器学习在B站推荐系统的应用实践如何打造标准化的数据治理评估体系？

【干货】小米用户画像实践.pdf（附下载链接）

推荐系统解构.pdf（附下载链接）

短视频爆粉表现指南手册.pdf（附下载链接）

推荐系统架构与算法流程详解如何搭建一套个性化推荐系统？某视频APP推荐策略详细拆解（万字长文）

关注我们

智能推荐 个性化推荐技术与产品社区

长按并识别关注

一个「在看」，一段时光