nDCG, 排序模型评价指标

简介

DCG, Discounted Cumulative Gain ,累计收益折扣.
A measure of ranking quality. 是信息检索领域中, 对排序问题的一个评价指标, 因素有文档相关性与排序位置.

使用场景举例:

• 用户输入一个query, 得到了很多结果, 这个指标可以对有序的结果进行评价.
• 相关场景: 文档打标签, 把程序的标签输出也看成有序的, 就也可以用该指标评价.

思想

This measure is based on two following assumptions:
1. 高度相关文档在排名靠前时, 对用户的帮助更大
2. 高度相关文档比轻微相关文档, 对用户的帮助更大

公式

DCGp=rel1+∑i=2prelilog2(i+1)

where reli is i-th doc’s relevant score. p is the rank position.
根据p=3(或 10)取值不同, 算出来的就是 前3(或 前10) 个结果的DCG.

nDCG

nDCG, Normalized DCG , 正规化的累计收益折扣.

不同的query, 搜索结果的个数不一致, 所以需要正规化.
IDCG, 表示在理想情况下, 这些文档按照相关性单调递减排序时的DCG得分.

nDCGp=DCGpIDCGp