【Optimization】优化算法索引

  1. ML模型/ DL网络 优化中的挑战

    1. 上溢, 下溢 和 病态
    2. 局部极小点
    3. 高原, 鞍点 和 其他平坦区域
    4. 悬崖和梯度爆炸
    5. 长期依赖
    6. 非精确梯度
    7. 局部和全局结构间的弱对应
    8. 优化的理论限制
  2. 基本算法

    1. 基于梯度的优化算法
    2. 动量
    3. Nesterov 动量
  3. 参数初始化策略

  4. 自适应学习率算法
    1. AdaGrad
    2. RMSProp
    3. Adam
    4. 选择正确的优化算法
  5. 二阶近似算法

    1. 梯度之上:基于 Jacobian 和 Hessian 矩阵的优化算法
    2. 牛顿法
    3. LM 法
    4. 共轭梯度
    5. BFGS
  6. 优化策略和元算法

    1. 批标准化
    2. 坐标下降
    3. Polyak 平均
    4. 监督预训练
    5. 设计有助于优化的模型
    6. 延拓法和课程学习
  7. 约束优化

你可能感兴趣的:(AI,让AI飞)