datawhale 大模型学习 第四章-新模型架构

一、现状

GPT3 是一个通过96个Transformer block堆叠在一起的神经网络.即：

每一个TransformerBlock是一个多头注意力层的Block

目前大模型的规模已经到了极限（模型越大，需要训练资源和时间也就越长）

二、混合专家模型

混合专家模型通俗点讲就是：有N个专家，每个专家有各种的不同领域能力和模型参数，通过一个 门控制机制来给不同专家分配权重，最终汇总所有专家的结果。

优点：
1.专家与专家之间独立，可以并行计算
2.每个专家模型可以放置在不同的GPU机器上

三、基于检索的模型

3.1 去噪目标训练

就是在输入里面mask一些单子，然后在模型的输出里面吧mask掉的单词预测出来
输入： Thank you me to your party week

输出： for inviting  last

3.2 检索方法       

有一个文档集合库,里面是一群文档的集合：

基于检索的模型直观的生成过程：

• 基于输入 xx ，检索相关序列 zz 。
• 给定检索序列 zz 和输入 xx ，生成输出 yy 。

示例（开放问答）：

• 输入 xx ：What is the capital of Canada?
• 检索 zz ：Ottawa is the capital city of Canada.
• 输出 yy ：Ottawa

最近邻是最常用的一种检索方法：

• SS 是训练集。
• 检索 (x',y') \in S(x′,y′)∈S ，使得 x'x′ 和 xx最相似。
• 生成 y = y'y=y′ 。