RocketQA:段落检索

1.之前那家研究是以batch内其余训练数据作为当前样本的负样本using in-batch ran-dom negatives；（作为解决方案替代，是否可以在之前构造同一个样本对应多个不同batch数据，例如对于多次迭代，可以构造不同的batch数据）

2.如果使用强相关策略寻找top  k 负样本会存在假负例的情况

3.存在部分正样本没有标注的情况，所以topk检索结果就会出现假负例的情况；

（1）：采用夸gpu的负样本增强功能取训练模型，来增加模型的对比。cross-batch negatives

     利用其他gpu的passage经过模型获取的embedding，作为本次的负样本；如果是单个gpu训练则使用折中的方式，以累积的方式来实现一个正利的question见多个负样本；

（2）去除假负例；

      a_pre 首先训练一个双塔模型，根据稠密向量获取topk负例b1（可能包含假负例）

      b。首先用一个训练好的交互模型，去除非常像“假负例”的样本--f1，论文中说交互模型一般都比双塔模型效果要好；这样获得难负例c_1=b1-f1;

     c. 然后用选取的难负例c_1去训练双塔模型；

     d.用收集的新问题利用交互模型去预测新的标签数据，只选择置信度较高的作为新的训练数据；另外一种方式是 交互模型作为老师，双塔模型作为学生，知识蒸馏策略；

   

 （3）利用cross-模型（交互模型）对无标签数据打标签，数据增强；然后再去训练双塔模型；

namely cross-batch negatives, denoised hard negatives, and data augmentation

使用生成模型生成问题

其余稠密模型使用的hard negative sampling from the results re-trieved by BM25,作为难负例