【笔记】大模型，大资料

大模型，大资料，loss会降低，准确率会增加

1大模型

1.1模型的顿悟时刻

 举了一个一知半解的例子

1.2 模型

chain of thought

模型足够大时才会有比较好的作用 

calibration

检测模型对于答案的confidence

会出现 “u-shape”

 2.大资料

文法和对世界了解需要的数据量不相同

 2.1 资料的前处理

重复训练资料，避免模型硬背

2.2 运算资源固定

 

给出了在一定资源情况下，数据量和参数量的合理配比。

小模型大资料  完胜 大模型小资料

【LLaMA】也是参考了这种思想

2.3  模型调整

2.3.1 instruction-tuning

对于对应问题的finetune

2.3.2 整体架构

pretrained -> finetune ->reinenforce learning

 

 （1）小模型finetune效果会比大模型好

 （2）小模型reinenforce learning效果会比大模型好

3. 跳出“大模型大资料”

3.1 knn lm

常规： 

当成分类问题来解决

KNN LM：

（1）求目标和源向量

（2）求目标和源之间距离

 红色框：与常规方式搭配（加权）使用

3.1.1 缺点

inference 时间太久了

 3.2 RETRO

通过查询避免模型记忆（比如Π的数值）