Roformer-sim模型
文章目录
- 1. 简介
- 2. RoformerSim Model
-
- 2.1 Roformer模型介绍
- 2.2 Roformer-Sim 模型
-
- 2.2.1 语料
- 2.2.2 生成
- 2.2.3 检索
- 3. 总结
- 4. 参考
1. 简介
RoFormer-Sim模型融合了检索和生成于一体的模型。在roformer-sim之前作者也提出了一种类似的模型BERTSIM，roformer-sim是对 SimBERT 相关技术进一步整合和优化，可以用来作为句向量的一个比较高的 baseline，也可以用来实现相似问句的自动生成，可以作为辅助数据扩增工具使用。
roformer-smi和bert-smi的区别如下所示：
SimBERT = BERT + UniLM + 对比学习 RoFormer-Sim = Roformer + UniLM + 对比学习 + BART + 蒸馏 \text {SimBERT} = \text{BERT}+ \text{UniLM} + \text{对比学习} \\ \, \\ \text {RoFormer-Sim} = \text{Roformer}+ \text{UniLM} + \text{对比学习}+\text{BART}+\text{蒸馏} SimBERT=BERT+UniLM+对比学习RoFormer-Sim=Roformer+UniLM+对比学习+BART+蒸馏
2. RoformerSim Model
2.1 Roformer模型介绍
Roformer模型是transformer的升级版，它的主要改动是应用了作者构思的“旋转式位置编码（Rotary Position Embedding，RoPE）”代替transformer中的绝对位置编码，这是一种配合 Attention 机制能达到“绝对位置编码的方式实现相对位置编码”的设计。
一般来说，绝对位置编码具有实现简单、计算速度快等优点，而相对位置编码则直接地体现了相对位置信号，跟我们的直观理解吻合，实际性能往往也更好。 于是roformer就集各家之所长，提出通过绝对位置编码的方式实现相对位置编码的旋转式位置编码。
因此roformer的出发点就是通过绝对位置编码的方式实现相对位置编码，为了达到这个目的，假设通过下述运算来给 q , k q, k q,k 添加绝对位置信息
q ~ m = f ( q , m ) , k ~ n = f ( k , n ) ( 2 − 1 ) \tilde{\boldsymbol{q}}_{m}=\boldsymbol{f}(\boldsymbol{q}, m), \quad \tilde{\boldsymbol{k}}_{n}=\boldsymbol{f}(\boldsymbol{k}, n) \,\,\,\,\,\,\, (2-1) q~m=f(q,m),k~n=f(k,n)(2−1)
也就是说，分别为 q , k q, k q,k 设计操作 f ( ⋅ , m ) 和 f ( ⋅ , n ) f(·, m) 和f(·, n) f(⋅,m)和f(⋅,n)，使得经过该操作后， q ^ m \hat q_{m} q^m k ^ n \hat k_{n} k^n 就带有了位置 m, n 的绝对位置信息。Attention 的核心运算是内积，所以我们希望的内积的结果带有相对位置信息，因此假设存在恒等关系
⟨ f ( q , m ) , f ( k , n ) ⟩ = g ( q , k , m − n ) \langle\boldsymbol{f}(\boldsymbol{q}, m), \boldsymbol{f}(\boldsymbol{k}, n)\rangle=g(\boldsymbol{q}, \boldsymbol{k}, m-n) ⟨f(q,m),f(k,n)⟩=g(q,k,m−n)
因此，目标就成为求出该恒等式的一个（尽可能简单的）解 f f f。求解过程还需要一些初始条件，显然我们可以合理地设 f ( q , 0 ) = q f(q, 0)=q f(q,0)=q, f ( k , 0 ) = k f(k, 0) = k f(k,0)=k 。
具体求解过程可以参考Transformer升级之路：博采众长的旋转式位置编码，得到解 f f f后，就可以用式（2-1）进行计算 q , k q, k q,k，然后进行self-attention计算的时候就带有相对位置信息了。
2.2 Roformer-Sim 模型
Roformer-Sim 的主体框架是Roformer模型，除此之外，RoFormer-Sim 用到了更多的训练数据，且不同于 SimBERT 仅仅局限于疑问句，RoFormer-Sim 可以用来做一般句子的相似句生成，适用场景更大。其他训练细节还包括 RoFormer-Sim 用了更大的 batch_size 和 maxlen 等。
2.2.1 语料
SimBERT 和 RoFormer-Sim 的关键之处，都是在于训练语料的构建。RoFormer-Sim 的训练语料包括两部分
- 疑问类型相似句；
- 通用类型相似句
对于疑问类相似句，还是像 SimBERT 一样，通过收集百度知道的相似问句，然后通过规则进一步清洗；
对于通用类相似句，没有现成的地方可以搜集，于是提出了两种方案来无监督地构建相似句对。
第一个方案是基于“同一个问题的答案是相似的”思想，假如我们有现成的问答语料，该语料对于同一个问题有多个答案，那么我们可以将每个答案分句，然后用一个现成的相似度函数来比较答案之间的相似度，挑出相似度超过某个阈值的句对作为相似句对使用；
第二个方案则是基于“同一篇章的句子是相似的”思想，它更加简单直接一点，就是将每个篇章分句，然后用一个现成的相似度函数两两计算相似度，挑出相似度超过某个阈值的句对作为相似句对使用，显然该方案的合理性更弱，所以它的阈值也更高。
相似度函数是直接使用 Jaccard 相似度的一个变体，换言之只需要一个规则的、字符级别的相似度就好了，语义上的关联，则通过篇章内部的关联以及预训练模型本身的泛化能力来获得。通过第一个方案，从几个阅读理解数据集中构建了约 450 万个（伪）相似句对；通过第二个方案，从 30 多 G 的平行预料中构建了约 470 万个（伪）相似句对；而爬取的问句则达到了约 3000 万个相似句组（一组可以构成多对）。从这个角度看来，问句的数目是远超于一般句式的，所以我们按照 1:1 的方式从中采样，使得每种句式的样本都均衡。
2.2.2 生成
RoFormer-Sim 的训练方式跟 SimBERT 基本一样，如下图所示。稍微不同的是，为了增强模型的生成能力，在构造训练语料的时候，我们还随机地将输入句子的部分 token 替换为[MASK]，这种预训练方法首先由 BART 提出。而我们跟 BART 的区别在于：BART 是“输入带噪声的句子，输出原句子”，我们是“输入带噪声的句子，输出原句子的一个相似句”，理论上我们的任务还更难。
2.2.3 检索
增加一般句式的语料、引入仿 BART 式训练，这些改动都相对来说提升了生成模型的效果。然而，检索模型（即句子编码模型）的效果却降低了。估计可能是更多的语料、更大的噪声虽然加大了生成模型的难度，但对于对比学习来说，这些不同句式的或者带噪声的样本作为负样本，反而是难度降低了。比如，如果一个 batch 同时有疑问句和陈述句，那么模型可以简单地通过句式（而不是语义）就可以识别出不少负样本，从而降低了对语义的理解能力。
当然，SimBERT 和 RoFormer-Sim 的本质定位都是相似句扩增模型，检索模型只是它的“副产品”，但仍然希望这个“副产品”能尽可能好一些。为此，在 RoFormer-Sim 训练完之后，进一步通过蒸馏的方式把 SimBERT 的检索效果转移到 RoFormer-Sim 上去，从而使得 RoFormer-Sim 的检索效果基本持平甚至优于 SimBERT。蒸馏的方式很简单，假如对于同一批句子，SimBERT 出来的句向量为 u 1 , u 2 , . . . , u n u_1, u_2, ..., u_n u1,u2,...,un，RoFormer-Sim 出来的句向量为 v 1 , v 2 , . . . , v n v_1, v_2, ... , v_n v1,v2,...,vn ，那么就以：
L s i m = λ n 2 ∑ i = 1 n ∑ j = 1 n ( cos ( u i , u j ) − cos ( v i , v j ) ) 2 \mathcal{L}_{\mathrm{sim}}=\frac{\lambda}{n^{2}} \sum_{i=1}^{n} \sum_{j=1}^{n}\left(\cos \left(u_{i}, u_{j}\right)-\cos \left(v_{i}, v_{j}\right)\right)^{2} Lsim=n2λi=1∑nj=1∑n(cos(ui,uj)−cos(vi,vj))2
当然，为了防止模型“遗忘”掉生成模型，蒸馏的同时还要加上生成损失， L = L s i m + L g e n L = L_{sim}+L_{gen} L=Lsim+Lgen
3. 总结
Roformer-Sim以Roformer为主体框架，使用大量的相似对语句进行训练，来进行似句扩增，同时检索模型作为他的副产品也获得非常好的效果。在训练的时候有两个任务：生成任务和检索任务，在生成任务中效仿BART，输入带噪声的句子，输出原句子的一个相似句，在检索任务中通过蒸馏的方式把 SimBERT 的检索效果转移到 RoFormer-Sim 上
4. 参考
Transformer升级之路：博采众长的旋转式位置编码
SimBERTv2来了！融合检索和生成的RoFormer-Sim模型