【术语解释】LoRA

来源：https://huggingface.co/kaiokendev/SuperCOT-LoRA

这里的LoRA是指：“Low-Rank Adaptation of LLM” （低秩适配法），具体是指，在LLM预训练过程中，针对大规模的预训练参数矩阵（满秩矩阵）可以进行优化，即用两个低秩矩阵相乘来等效适配，这是一种通过进一步训练来有效降低参数总量的方法，原理类似于蒸馏，但是从数学角度，低秩适配要比蒸馏效果更好。