大模型学习笔记04——新的模型架构

大模型学习笔记04——新的模型架构

1、混合专家模型

核心思想：创建一组专家，每个输入只激活一小部分专家

混合专家模型方法：

注意

1. 通过门控控制使用不同种类和数量的专家
2. 所有专家的概率分布和为1，可以取其中概率较大的几个专家，而忽略概率较小的专家
3. 需要确保所有专家都能被输入使用，如果只有一个专家活跃既是浪费，其他专家也得不到梯度改善
4. 混合专家非常有利于并行，不同专家放置在不同的机器上，在中心节点上计算门控函数

2、基于检索的模型

核心思想：根据输入，从数据库中检索到相关的部分，通过检索到的信息对输入进行预测

注

更多详细内容见：添加链接描述