LLaMA Pro是什么 相比于lora full freeze有什么区别 怎么使用

1. LLaMA Pro 是什么？

LLaMA Pro 是一种基于 LLaMA 架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。它通过在原有模型的基础上扩展新的模块（如 Transformer 块），并在微调时仅训练这些新增模块，从而在适应新任务的同时保留预训练模型的通用知识。LLaMA Pro 在代码理解、数学推理和语言理解等任务上表现出色，特别适合需要持续学习和多任务处理的场景。

---

2. LLaMA Pro 与 LoRA、Full、Freeze 微调的区别

方法	核心思想	优点	缺点
LLaMA Pro	在原有模型上扩展新模块，仅训练新增模块，保留预训练参数不变。	解决知识遗忘问题，适合多任务和持续学习；在特定任