BaiChuan-QWen

QWen

Tokenizer

• 选择byte pair encoding (BPE)作为分词方法
• vacabulary在中文上做了增强，验证增加vocabulary的规模不会为下游任务带来负面影响

Model

• Positional embedding：选择RoPE，反向更新时选择FP32的精度而不是FP16或BP16，以提高模型精度
• Bias：在多数layer中去除了bias，但是在注意力的QKV的layer中，加入了bias，提高模型外推能力
• RMSNorm： 取代了Pre-Norm
• Activation function：选择了SwiGLU作为激活函数，把FFN的维度从4倍的hidden size降到了8/3倍

context length

context length受限于Transformer的架构，上下文长度增加会带来巨大的计算量和内存占用
扩展上下文长度主要有两个关键技术去解决：

• NTK-aware interpolation
• dynamic NTK-aware interpolation，每个chunk的scale不一样

两个注意力机制:

• LogN-Scaling, q和v乘以一个系数，context length和training length的长度关系，来保持注意力的稳定
• window attention，把注意力严格限制在窗口内，防止context length过长

观察到的结论：低层级的layer对context length的扩展更加敏感，相对于高层级

训练细节

Train阶段

• context length设置为2048
• flash attention 加速
• bf16混合精度训练

SFT阶段
sft也会将next token predict作为训练任务
在system 和user input上算loss

RL阶段
four models: the policy model, valuemodel, reference model, and reward mod

• we pause the policy model’s updates and focus solely on updating the value model for 50 steps. This approach ensures
  that the value model can adapt to different reward models effectively.

---

BaiChuan

tokenizer

tokenizer需要平衡两个因素：

1. 为了高效推理，需要一个高的压缩率
2. 大小合适的词表

• 使用byte-pair encoding (BPE)，但是没有对输入文本就行任何的归一化，也没有像百川1那样加入dummy prefix
• split numbers into individual digits
• 为了解决代码数据中的空格问题，加入了空格作为token
• maximum token length被设置为32，去解释中文的长短语

model

• 7B用的RoPE，13B用的ALiBi，但是最近的实验证明，位置编码方式的选取并不会显著影响模型的性能，分开用是为了后续的研究和百川1进行对比

• 激活函数用的SwiGLU，从4倍 hidden size减小到8/3 倍。而且四舍五入到128的倍数

• 注意力层的优化，用的xformer结合ALiBi的位置编码，来减小内存占用

• RMSNorm，更高效的计算输入变量的方差

• bf16训练，比fp16有更好的动态范围。但是bf16的低精度也导致了一些问题：

  • RoPE and ALibi 会出现int溢出（超过256），所以位置编码采用全精度

• NormHead：为了训练稳定和改善模型性能，对output的embediing（称之为head）就行归一化。两个优点：

  • 1）保证训练的稳定性。发现了head的分布不稳定，在训练期间稀少的token的embedding会变得很小，会使得训练中断
  • 2）NormHead减轻了在计算logits时L2距离的干扰。语义信息主要通过嵌入的余弦相似度进行编码，而不是L2距离。由于当前的线性分类器通过点积计算logits，它是L2距离和余弦相似度的混合。

• 加入max-z loss 去归一化logits。

  在训练过程中，我们发现语言模型（LLMs）的logits可能会变得非常大。然而，softmax函数对于绝对logit值是不敏感的，因为它只依赖于它们的相对值。问题出现在推理过程中，常见的实现直接将重复惩罚应用于logits上。这种收缩非常大的logits的过程可以显着改变softmax后的概率，使模型对重复惩罚超参数的选择变得敏感。

  

• Scaling low：百川2的缩放规律
  
  我们训练了从1千万到30亿参数的各种模型，使用1万亿个标记进行训练。通过将功耗训练损失拟合到一个幂律项，我们预测了在使用2.6万亿个标记进行训练时，百川2-7B和百川2-13B的训练损失。这个拟合过程准确地预测了最终模型的训练损失（用两颗星标记）。