Learning to Rank算法介绍：GBRank

之前的博客：http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理，也讲到了Learning to Rank的几类常用的方法：pointwise，pairwise，listwise。前面已经介绍了pairwise方法中的 RankSVM 和 IR SVM，这篇博客主要是介绍另一种pairwise的方法：GBRank。

GBRank的基本思想是，对两个具有relative relevance judgment的Documents，利用pairwise的方式构造一个特殊的 loss function，再使用GBDT的方法来对此loss function进行优化，求解其极小值。

1. 构造loss function

GBRank的创新点之一就在于构造一个特殊的loss function。首先，我们需要构造pair，即在同一个query下有两个doc，我们可以通过人工标注或者搜索日志中获取的方法，来对这两个doc与该query的相关程度进行判断，得到一个相关关系，即其中一个doc的相关程度要比另一个doc的相关程度更高，这就是relative relevance judgment。一旦我们有了这个pairwise的相对关系，问题就成了如何利用这些doc pair学习出一个排序模型。

假设我们有以下的preference pairs 作为training data：

我