AR_Numerical_Optimization Cpt3.Line Search Methods
线搜索基本概述在每一次线搜索过程中需要计算一个搜索方向和在方向上前进的步长.大多数线搜索需要作为下降方向:来让目标函数沿着方向下降,在前面一章讨论过,通常搜索方向的通式为:为对称且非奇异矩阵,在最速下降法中,为单位矩阵(identitymatrix),在牛顿法中,为Hessianmatrix.在拟牛顿法中,为Hessianmatrix的近似,并且在每一次迭代中用meanoflow-rankform