大模型-DeltaTuning:①增量式(原模型参数不变,插入可微调参数层)、②指定式(原模型参数冻结一部分参数,微调一部分参数)、③重参数化式(将原模型参数层改造,比如插入低秩)

【随着模型增大,各方案区别不大】 

大模型-DeltaTuning:①增量式(原模型参数不变,插入可微调参数层)、②指定式(原模型参数冻结一部分参数,微调一部分参数)、③重参数化式(将原模型参数层改造,比如插入低秩)_第1张图片

大模型-DeltaTuning:①增量式(原模型参数不变,插入可微调参数层)、②指定式(原模型参数冻结一部分参数,微调一部分参数)、③重参数化式(将原模型参数层改造,比如插入低秩)_第2张图片

统一框架: 《Towards a Unified View of Parameter-Efficient Transfer Learning》

GitHub - thunlp/PromptPapers: Must-read papers on prompt-based tuning for pre-trained language models.

GitHub - thunlp/DeltaPapers: M

你可能感兴趣的:(#,LLM/微调,深度学习,人工智能)