[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning
Prompt-LearningandDelta-Tunning背景和概览但是从T5开始,大模型越来越大了。微调很难了。模型的趋势ModelScaling:模型越来越大DifficultTuning:微调越来越难Prompt-Learning基本组成与流程介绍预训练和fine-tuning有一定的gap。毕竟是不同的任务。通过额外增加模版。映射到标签的过程称为verbalizer。这样就使用了mas