运筹优化（十一）--无约束非线性规划

这个系列将非线性规划是以“不是什么“定义的，也就是说，之前的线性规划模型使用连续决策变量，线性约束和线性目标函数，而非线性规划涵盖了所有其他单目标，连续决策变量的规划模型。意味着，非线性规划有许多不同的形式和算法。其中，有的有模型约束，有的则只有目标函数。在许多模型中，微积分能够得到可以利用的导数，有的则可能根本不存在导数。

无约束的非线性规划

在无约束优化中，线性规划的目标函数无界，而非线性规划可能存在有界的最优解。

最常见的无约束非线性规划问题，有曲线拟合或回归问题。你需要拟合出一条曲线模型尽可能的减少目标误差。另外比较常见的应用是，估计概率分布，你需要刻画数据的分布函数。当然，你可以基于改进搜索的思路，不断迭代寻找靠近（减小或者增大）目标值，从而找到最优解，也可以利用导数信息（如果存在的话），寻找最优解。导数信息，我们可以利用一阶导（如SGD），也可以利用二阶导（如海森矩阵）。这方面的资料很多，基本上深度学习的训练，就是从一阶导（梯度）信息的维度出发，从搜索策略（各种优化算法改进，手动/自适应）角度提升寻优效果。另外，还有像牛顿法，拟牛顿法这种基于二阶导数信息的搜索最优化算法。注意：实际上这一部分，在机器学习、深度学习理论领域，用的很多，这里不提是因为之前有整理过这块的内容。