深度下降法轨迹-七月算法（julyedu.com）4 月机器学习算法班学习笔记

课程大纲

核心思想：把问题转换为凸优化问题

一般的有约束优化问题

等式约束
不等式约束
KKT:
有约束优化问题的解的必要条件；
KKT可以用于求约束优化问题的极值点；
相对于无约束时，极值点f(x)的一阶导数为0

凸优化问题

当问题是凸优化时，问题变得更简单了
1. 局部最优价等价于全局最优解
2. KKT条件变成了充分问题

证明深度下降法的轨迹是正交的

深度下降法步骤（细化了下降步进的计算公式）

1 初始化: x0
2 计算下降方向

dk=−▽f\(xk)

3 计算下降步长

αk=argminf\(xk+αdk)

s.t. α>0

4 更新

xk+1=xk+αkdk

5 判断是否收敛

其中第3步下降步进的计算，该公式是关于变量 α 的公式。该步骤是在确定了下降方向后，求让 f\(xk+αdk) 最小的步长 αk
其中 αk 满足 f\(xk+αkdk)=minf\(xk+αdk)
所以当 α=αk 时
→▽f\(xk+αdk)=0
→dTk▽f\(xk+αdk)=0
→dTkdk+1=0
所以相近两步更新的轨迹相互正交

PS 上面最两步推导我是直接引用链式法则：张贤达 矩阵分析与应用 第一版 p260