《论文阅读》LORA:大型语言模型的低秩自适应 2021

《论文阅读》LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS

      • 前言
      • 简介
      • 现有方法
      • 模型架构
      • 优点

前言

今天为大家带来的是《LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS》


出版:

时间:2021年10月16日

类型:大语言模型的微调方法

关键词:

作者:Edward Hu, Yelong Shen 等

第一作者机构:Microsoft Corporation

github:https://github.com/microsoft/LoRA

简介

为了降低现有模型在下游任务上的计算成本和时间成本,本文提出一种利用低秩的矩阵的方法,将高维空间映射到低维空间,在减小成本的同时不损失模型表现,下图为常见大语言预训练模型在下游任务

你可能感兴趣的:(组会论文,1024程序员节,论文阅读,语言模型,低秩,自适应)