trec 2019 fair ranking track
最近实验室要求参加trec 2019新出的track：fair ranking track。这里整理一下该任务的思想和要求。这次track主要为学术论文数据的排序。
1 Protocol
会给定一个query集合Q，其中\(q\in Q\)。对于每个请求，会有一个query q和一个文档集合\(D_q\)。你需要做的就是根据q来重排序(rerank)\(D_q\),重排序结果是\(\pi\)。最后把每一个请求都处理完返回\(\pi\)的集合的\(\Pi\)。过程如下：
Algorithm 1 Evaluation protocol
\(\Pi\)←{}
for q,\(D_q\in Q\) do
\(\pi\)←SYSTEM(q,\(D_q\))
\(\Pi\)←\(\Pi+[\pi]\)
end for
return \(\Pi\)
2 Evaluation
衡量指标主要分为两部分，相关性(revelance)和公平性(fairness)。
所谓相关性就是document和query的相关性，公平性主要为Author Exposure即论文作者的曝光度。
先介绍如何衡量作者的曝光度：
2.1 Measuring Fairness
2.1.1 Measuring Author Exposure for a Single Ranking
先为单个请求的重排序结果\(\pi\)计算作者的曝光度，某个作者a，在结果\(\pi\)的曝光度计算如下：
\[e_a^\pi=\sum^n_{i=1}[\gamma^{i-1}\Pi^{i-1}_{j=1}(1-p(s|\pi_j))]I(\pi_i\in D_a)\]
其中\(\gamma\)是一个给定的常数，\(\gamma^{i-1}\)用于表示排序后的document从上到下逐渐衰减的重要程度。\(p(s|\pi_j)\)表示用户看到排序的第j篇文档停下来的概率，该track假设用户停止的概率\(p(s|\pi_j)\)=\(f(r_d)\),\(f(r_d)\)是用户被满足的概率，\(r_d\)是document和query的相关程度，f是一个单调函数。这代表着，document与query相关度越高，用户越容易被满足，所以停下来不再阅读。
\(I(\pi_i\in D_a)\)是指示函数，当第i篇文档属于作者a，该函数值为1，否则为0。\(e^\pi_a\)是排序\(\pi\)中作者a的曝光度(exposure)。
那么在所有结果中，作者a的曝光度如下：
\[e_a=\sum_{\pi\in \Pi}e^\pi_a\]
2.1.2 Measuring Author Relevance for a Single Ranking
上一节是衡量对于作者的曝光度，这一节主要考虑作者的相关性。什么叫作者的相关性呢，它是衡量作者论文在排序中的相关性之和，也就是对作者论文重要性的考量。
\[r^\pi_a=\sum_{d\in D_a}p(s|d)\]
\(r_a^\pi\)是排序\(\pi\)中作者a所有文章相关性的求和。
2.1.3 Measuring Group Fairness
上面给出了单个作者的exposure和relevance，每个作者都有从属于的group，按group累加作者的fairness以及relevance就能分别得到group的exposure和relevance。
\[\epsilon_g=\frac{\sum_{a\in A_g}e_a}{\sum_{g'\in G}\sum_{a\in A_{g'}}e_a}\]
\[R_g=\frac{\sum_{a\in A_g}r_a}{\sum_{g'\in G}\sum_{a\in A_{g'}}r_a}\]
所谓公平，就是让不同group的\(\epsilon_g\)和\(R_g\)差距尽可能一致。
\[\Delta_g=|\epsilon_g-R_g|\]
最后对所有group求一个Gini coefficient
\(\Delta=\frac{\sum_{g,g'\in G}|\Delta_g-\Delta_{g'}|}{2|G|\sum_{g\in G}\Delta_g}\)
2.2 Measuring Relevance
前面按group计算了exposure，这一节给出相关性\(u_a^\pi\)的计算。和\(e_a^\pi\)的公式几乎一样，就是把指示函数换成\(p(s|\pi_i)\)。
\[u_a^\pi=\sum^n_{i=1}[\gamma^{i-1}\Pi^{i-1}_{j=1}(1-p(s|\pi_j))]p(s|\pi_i)\]
\[U=\frac{1}{\Pi}\sum_{\pi\in \Pi}u^\pi\]
2.3 Trading Off Fairness and Relevance
按作者给的文档原话说，理论上fairness和relevance能够达到最优，但是实际操作上，可能往往提高fairness会降低relevance。所以最终要按一定比例寻求一个平衡。