2.8 通过微调提升模型的准确度与效率-大模型ACP模拟题-真题

单选题

1. 模型量化技术的主要优势是？
   A. 显著提升模型精度
   B. 减少显存占用和响应时间 ✅
   C. 完全保留原始模型能力
   D. 支持多模态任务扩展

解析：量化通过降低参数精度减少资源消耗，但对精度影响较小（<2%）

1. 以下关于LoRA技术的描述错误的是？
   A. 通过低秩矩阵间接影响模型行为
   B. 会直接修改原始模型权重 ✅
   C. 支持参数回退操作
   D. 训练效率高于全参微调

解析：LoRA通过添加额外参数而非修改原权重实现微调

1. 当训练过程中出现loss下降而eval_loss上升时，最可能的原因是？
   A. 学习率设置过小
   B. 模型处于过拟合状态 ✅
   C. 训练数据量不足
   D. GPU显存溢出

解析：训练集loss下降但验证集loss上升是典型过拟合表现

1. 下列哪个指标最适合评估SQL生成任务的语义完整性？
   A. BLEU
   B. ROUGE-L ✅
   C. Perplexity
   D. mAP

解析：ROUGE-L通过最长公共子序列衡量结构匹配度

1. 微调数据集构建的核心要求不包括？
   A. 数据多样性覆盖场景
   B. 样本类别均衡分布
   C. 包含至少10万条数据 ✅
   D. 标注准确性保障

解析：复杂场景下千条级优质数据即可启动微调

---

多选题

1. 模型小型化的常见方案包括？（多选）
   ✅ A. 参数量化
   ✅ B. 网络剪枝
   ✅ C. 轻量化模型微调
   ❌ D. 增加隐藏层维度

解析：前三项均为模型压缩技术，D项会增大模型

1. 下列哪些是高效微调(PEFT)技术？（多选）
   ✅ A. Adapter Tuning
   ✅ B. LoRA
   ❌ C. 全参微调
   ❌ D. 梯度累积

解析：PEFT通过参数冻结或低秩分解提升效率

1. 出现训练loss持续上升时，可行的解决方案包括？（多选）
   ✅ B. 降低学习率
   ✅ C. 检查数据逻辑
   ❌ D. 增大batch_size
   ❌ F. 增加训练轮次

解析：学习率过大或数据异常是常见原因，增加训练会恶化问题

1. ROUGE指标的核心评估维度包括？（多选）
   ✅ A. 召回率
   ✅ B. 精确率
   ✅ C. F1分数
   ❌ D. 余弦相似度

解析：ROUGE通过n-gram重叠率计算R/P/F1

1. 微调后checkpoint的典型类型包括？（多选）
   ✅ A. 验证集最优模型
   ✅ B. 最后一次迭代模型
   ❌ C. 初始化预训练模型
   ❌ D. 数据预处理中间结果

解析：best/last checkpoint是标准输出

---

单选题

1. Adapter Tuning的核心设计是？
   A. 替换模型全部参数
   B. 插入可训练中间层 ✅
   C. 随机丢弃神经元
   D. 量化梯度更新

解析：Adapter在固定层间插入小规模可训练模块

1. 评估文本生成质量的Perplexity指标特点是？
   A. 数值越高表示效果越好
   B. 反映模型预测不确定性 ✅
   C. 专用于图像分类任务
   D. 依赖参考文本对比

解析：困惑度越低说明模型预测越确定准确

---

多选题

1. 模型过拟合的抑制策略包括？（多选）
   ✅ B. 增加dropout率
   ✅ F. 提前终止训练
   ❌ A. 扩大训练数据集
   ❌ E. 减少正则化强度

解析：增大dropout和早停是有效手段，C/D与题意无关

1. 微调数据构建的关键原则包括？（多选）
   ✅ A. 标注准确性
   ✅ B. 场景覆盖全面性
   ✅ D. 持续迭代优化
   ❌ C. 单一类别主导

解析：数据需准确、多样、均衡且可迭代

---

单选题

1. 将LoRA参数与基础模型融合的主要目的是？
   A. 减少磁盘存储空间
   B. 提升推理计算效率 ✅
   C. 保留微调前的状态
   D. 支持多任务并行

解析：参数融合可避免运行时额外计算开销

单选题

1. 以下哪项是 LoRA 的核心特点？
   A. 直接修改原始模型权重
   B. 通过低秩矩阵间接调整模型行为
   C. 仅适用于分类任务
   D. 需要大量训练数据
   答案：B
2. ROUGE-L 分数主要用于评估以下哪种任务？
   A. 图像分类
   B. 文本生成（如摘要）
   C. 目标检测
   D. 语音识别
   答案：B
3. 在微调过程中，若训练集 loss 下降但验证集 loss 上升，可能的原因是？
   A. 模型欠拟合
   B. 模型过拟合
   C. 学习率过低
   D. 数据量不足
   答案：B
4. 以下哪种方法属于 PEFT 技术？
   A. 全量微调
   B. Adapter Tuning
   C. 随机初始化训练
   D. 数据增强
   答案：B
5. 微调后保存的 checkpoint 中，best_model_checkpoint 的含义是？
   A. 最后一次训练的模型
   B. 验证集表现最佳的模型
   C. 初始预训练模型
   D. 合并后的完整模型
   答案：B
6. 以下哪项是 BLEU 分数的典型应用场景？
   A. 机器翻译
   B. 图像生成
   C. 文本分类
   D. 语音合成
   答案：A
7. 若训练过程中 loss 持续增加，可能的解决方案是？
   A. 增大学习率
   B. 检查数据质量与逻辑关联性
   C. 减少训练轮次
   D. 增加 dropout 率
   答案：B
8. Adapter Tuning 的主要优势是？
   A. 修改原始模型参数
   B. 仅训练新增的 Adapter 层
   C. 适用于小规模数据
   D. 无需验证集
   答案：B
9. 以下哪项是 ROUGE 分数的核心计算方式？
   A. 基于 n-gram 重叠
   B. 基于句法树匹配
   C. 基于语义向量相似度
   D. 基于编辑距离
   答案：A
10. 在微调任务中，数据集构建的首要原则是？
    A. 数据量越大越好
    B. 数据质量与相关性
    C. 数据多样性
    D. 数据平衡性
    答案：B

---

多选题

1. 以下哪些是 PEFT 技术？（多选）
   A. Adapter Tuning
   B. LoRA
   C. 全量微调
   D. 随机梯度下降
   答案：A, B
2. 关于 LoRA 的描述，哪些是正确的？（多选）
   A. 通过低秩矩阵调整模型
   B. 不修改原始模型权重
   C. 适用于资源受限场景
   D. 需要重新训练所有参数
   答案：A, B, C
3. 以下哪些指标属于分类任务评测？（多选）
   A. 准确率（Accuracy）
   B. F1 分数
   C. BLEU 分数
   D. mAP
   答案：A, B
4. 在微调过程中，以下哪些情况可能导致过拟合？（多选）
   A. 训练数据不足
   B. 训练轮次过多
   C. Dropout 率过低
   D. 学习率过高
   答案：A, B, C
5. 关于 ROUGE 分数，哪些描述正确？（多选）
   A. ROUGE-1 关注单个词的重叠
   B. ROUGE-L 基于最长公共子序列
   C. ROUGE-P 是精确率指标
   D. 仅适用于翻译任务
   答案：A, B, C
6. 以下哪些是缓解过拟合的措施？（多选）
   A. 增大 lora_dropout
   B. 减少训练轮次
   C. 增加训练数据
   D. 提高学习率
   答案：A, B, C
7. 在微调任务中，数据集需要满足哪些要求？（多选）
   A. 覆盖任务所有关键场景
   B. 样本均衡
   C. 高质量标注
   D. 仅需少量数据
   答案：A, B, C
8. 以下哪些是 ms-swift 框架的特点？（多选）
   A. 支持 350+ LLM 的训练
   B. 仅适用于文本生成任务
   C. 提供评测和部署功能
   D. 开源且易扩展
   答案：A, C, D
9. 关于微调后的模型使用，哪些方法正确？（多选）
   A. 动态加载微调模型
   B. 融合基础模型与低秩参数
   C. 直接替换原始模型权重
   D. 仅使用 last_model_checkpoint
   答案：A, B
10. 以下哪些是训练失败的可能原因？（多选）
    A. 学习率过高
    B. 数据与标签无逻辑关联
    C. Dropout 率过大
    D. 训练轮次不足
    答案：A, B, C
11. 关于 BLEU 和 ROUGE 的区别，哪些正确？（多选）
    A. BLEU 常用于翻译，ROUGE 用于摘要
    B. BLEU 基于精确率，ROUGE 基于召回率
    C. 两者均依赖 n-gram 重叠
    D. ROUGE-L 支持 SQL 评估
    答案：A, B, C
12. 在微调前需评估哪些方面？（多选）
    A. 业务需求匹配度
    B. 数据隐私合规性
    C. 模型规模与资源
    D. 训练数据量是否足够
    答案：A, B, C, D
13. 关于 Adapter Tuning，哪些描述正确？（多选）
    A. 插入额外的 Adapter 层
    B. 仅训练新增参数
    C. 适用于所有模型架构
    D. 无需验证集
    答案：A, B
14. 以下哪些是文本生成任务的评测指标？（多选）
    A. Perplexity
    B. ROUGE
    C. mAP
    D. BLEU
    答案：A, B, D
15. 关于训练过程中的 loss 变化，哪些判断正确？（多选）
    A. 训练 loss 下降，验证 loss 下降 → 继续训练
    B. 训练 loss 下降，验证 loss 上升 → 过拟合
    C. 训练 loss 上升，验证 loss 上升 → 检查数据或学习率
    D. 训练 loss 不变，验证 loss 下降 → 模型收敛
    答案：A, B, C

原文链接

aliyun_acp_learning/大模型ACP认证教程/p2_构造大模型问答系统/2_8_通过微调提升模型的准确度与效率.ipynb at main · AlibabaCloudDocs/aliyun_acp_learning · GitHub