LoRA中黑塞矩阵、Fisher信息矩阵是什么

LoRA中黑塞矩阵、Fisher信息矩阵是什么

1. 三者的核心概念

  • 黑塞矩阵(Hessian)
    二阶导数矩阵,用于优化问题中判断函数的凸性(如牛顿法),或计算参数更新方向(如拟牛顿法)。

  • Fisher信息矩阵(Fisher Information Matrix, FIM)
    统计学中衡量参数估计的不确定性,反映数据中包含的关于参数的信息量。在机器学习中常用于自然梯度下降(Natural Gradient Descent)。

  • LoRA(Low-Rank Adaptation)
    一种模型微调技术,通过低秩分解近似全连接层的权重矩阵,减少计算量和存储需求(如用于大语言模型微调)。

2. 三者的关系

(1)优化中的联系
  • 黑塞矩阵与Fisher矩阵

你可能感兴趣的:(教学,2021,论文,2024大模型以及算力,矩阵,机器学习,人工智能,transformer,深度学习,算法,线性代数)