IRGAN（学习笔记part一）

-IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models-（note by yanguokai）
（暂时还不关注公式，所以有关公式部分全部省略。这算是翻译，也算读书笔记？，感觉很多地方会存在用词错误…）

1.信息检索具有很广泛的应用，主要有文本检索，网页搜索，和推荐系统，以及问答系统和个性化广告(由于本人现在主要研究QA，后期可能结合其他应用，所以会先讨论QA问答系统。)

2.那么信息检索本身的典型的描述公式为：给定一个查询query，返回提供一个文档列表清单（排序或者不排序）。

3.IR领域（不只是这个领域）一直存在着两种学派思想（通常介绍为经典和现代思想，应为IRGAN要统一这两个思想，所以得先了解这两个）。

4.经典的学派思想假设（这个假设是真的）：在文档和用户需求之间存在着一个潜在的随机的生成过程。（需要有具体的例子来理解才好，然后对应再对应到自己已有知识上）
那么通常需要考虑 的有三点。第一点是用户需求如何表示，通常是指用户的查询（取决于具体的IR任务，可以是关键字，用户属性，问题）。第二点是相关性文档，这个也是根据特定的任务，对应的，可以是指文本文档，问题等，第三点是随机的生成过程如何表示，条件概率分布，联合概率分布等。
以文本检索这个特定的任务为例，（这分为了经典和统计模型）
信息检索的经典的相关性模型，聚焦于描述怎么样从一个由信息需求给定的查询中生成一个相关的文档。即q 生成 d。
信息检索的统计语言模型却认为从一个文档到一个查询的相反的生成过程。即d生成q。典型的从一个文档生成查询形式。比如词嵌入等。

5.现代的学派思想意识到机器学习的强大，并转向一个从标记的相关判断，或者他们的代理比如点击或评分中学习得到的判别（分类）解决方法。这个判别方法，考虑 文档和查询 作为联合特征，并且从大量的训练数据中预测两者的相关性或者排序的标签。（q,d）to r.

6.开始讨论两个典型模型的优点和不足，然后才好提出解决办法（先着重关注它们各自的缺点，因为后面是解决了这些缺点） ：

7.尽管信息检索生成模型理论上听起来在特征建模（比如文本统计，文本分类空间上的分布）上很成功：但是受折磨于很难应用从其他的渠道的相关性信号，比如链接和点击，这些在基本互联网的应用上本很显著。
尽管信息检索判别模型，比如learning to rank 理论上从大量的有标记和无标记数据上隐式的学习到检索排名函数。但是他们缺少从大量的无标记数据上获得有用的特征或者收集有帮助的信号的原则性的方法。

8.针对这个不足，以及最近火爆的gan，（率先将好的思想用在特定的还没有用过的领域，并因地制宜进行改造，是IRGAN论文的优点），论文提出将生成检索模型和判别模型同等对待，
并且提出了一个零和游戏来统一上述提及的两个学派的思想。特别的，论文定义了两个模型的一个共同的检索函数（比如基于判别的目标函数）。一方面，判别模型试图最大化从有标记数据学习到的目标函数，自然的，它为生成模型提供了除传统最大似然函数外替代性的指导。（前面说了，生成检索模型很难利用其他渠道的信号）。另一方面，生成模型充当不断的将这个判别器推向他的极限的挑战者。迭代的，生成模型为判别模型提供最困难的例子来通过对抗性的最小化目标函数重新训练自己。以这样的方式，IR的两种类型的模型，充当零和游戏的两个玩家。两者通过每轮竞争上打败对方的来提高自己。
需要注意的是IRGAN和传统的IR游戏理论（试图为用户和系统的交互建模）是不同的，主要是因为IRGAN是试图统一信息检索领域的两类模型。

实际上IRGAN这个framework已经应用在了三个典型的应用上并且公布了源码（论文说的好，但是总感觉没有代码的理解，就不能很好的理解。代码部分以后再介绍）。
总之，使用了IRgan的比没有使用IRGan的效果要好，另外就是针对不同的特定的任务，达到的平衡不同。

9.上面说了那么多就是说别人的不好，然后提出了IRGAN，以及IRGAN的好处。那IRGAN框架具体是什么？
下面开始介绍。
定义了几个概率分布，
潜在的真实联合分布表示为条件概率。描述的是用户的相对于用户提交的查询的候选文档之间的联合先验概率。*给出一组从真实联合分布的样本作为训练数据，就可以试图构造IR的两种类型的模型*。
生成检索模型：试图从给定的查询中得到的候选池中，生成或者选择(注意，现在还是用选择，比如挑选作为QA的负样本)相关的文档。换句话说，生成检索模型的目标就是尽可能近似文档的真实联合分布。
判别检索模型：相反的，试图从弱匹配的查询-文档对元组中 判别出良好匹配的查询-文档对元组。判别检索模型的匹配的 精华取决于d to q 的相关性。换句话说，判别检索模型的目标就是尽可能准确的区分出查询q的相关性文档和非相关性文档。它实际上就是一个二分类器。

10.总体目标：受gan启发，让两个检索模型进行零和游戏。游戏的内容是，生成检索模型试图生成或者选择看起来像地面-真实相关文档的相关文档，并且能够愚弄判别检索模型。然而，判别检索模型试图在原始的真实相关性文档和由它的对手生成检索模型产生的生成的文档 之间画出一个清晰的分界线。

11.优化判别检索：D判别检索的目标是极大化正确区分真实文档和生成的相关性文档的之间的对数似然函数，通过观察到的相关文档和当前最佳的生成模型抽取出的文档，可以获得判别检索模型的最佳参数。

12.优化生成检索：和D相反，生成检索模型试图最小化这个目标（对数似然函数），它符合真实文档的潜在联合分布，并且，基于此，从整个文档集中随机的生成或抽取文档，以便愚弄判别模型。

13.与gan不同，不是生成特征，而是生成或者选择已知的文档，论文的工作室试图从给出的文档集中，选择相关的文档。

14.由于判别器的数据的取样是离散的，不能直接使用像传统的gan描述的随机梯度下降，所以，一个通常的方法是使用基于强化学习的策略梯度。（这个是IRGAN的优点）

15.在对抗训练前，生成器和判别器使用自己的常规模型初始化，然后再对抗训练阶段，生成器和判别器通过公式5和3，替代性训练。

16.讨论部分。假如（这个假如是假的）能够确切的知道那个真实联合分布（怎么翻译，是真实相关性分布？），那么IRGAN的零和游戏，不管是pointwise还是pairwise，都有一个纳什均衡：其中，生成模型能够完美的适应真实联合分布，而判别器不能够区分真实的文档和生成的相关性文档。
然而，这个真实的联合分布是不知道的，在这样的情况下，生成和判别检索模型，怎么样达到纳什均衡是一个开放的问题。但是，根据论文对IRGAN的经验，发现，取决于具体的任务，生成和检索模型，可以达到不同的层次的平衡，并且至少其中之一，与原来的没有对抗训练的具有明显的提高。

17.那么这两个对手怎么互相伤害呢？…额，怎么样互相帮助。下次再说吧。