大模型-DeltaTuning:①增量式(原模型参数不变,插入可微调参数层)、②指定式(原模型参数冻结一部分参数,微调一部分参数)、③重参数化式(将原模型参数层改造,比如插入低秩)
【随着模型增大,各方案区别不大】统一框架:《TowardsaUnifiedViewofParameter-EfficientTransferLearning》GitHub-thunlp/PromptPapers:Must-readpapersonprompt-basedtuningforpre-trainedlanguagemodels.GitHub-thunlp/DeltaPapers:M