无约束算法--直接法

直接法

优点

可以不用计算梯度，直接得到最优值。

1坐标轮换法

思想：n维坐标系的坐标方向即为下一次迭代的方向。
例如：二维f(x,y) = x+y;搜索方向为p0(1,0);p1(0,1);
流程如下：

收敛的方向不一定是下降方向，收敛速度可能也比较慢，和最速下降法一样，出现锯齿状、
讲完原理，咱们自然而然(naturally)的就要讲简单的例题来进行应用了

说完例题咱们说说什么样的题适合他，正所谓美女配枭雄。
坐标轮换法正如枭雄一样，适合沉鱼落雁，变量较少，函数较好的题目。但是如果不够美的花，枭雄自然不喜欢，所以收敛的就会比较慢，甚至出现上文所说的锯齿状。

2模式搜索法

为了让枭雄不要太挑，对付对付就过了这一辈子。所以研究出 模式搜索法（坐标轮换法上进行改变）。

流程图

就是在最后多进行一个条件筛选。dk=（xn-x0）;

不会做的话可以找作者要完整正确详解的答案。

3单纯形法

单纯形：单纯形就是n维坐标中的n+1点；(x0,x1,x2,xn)
为什么是n+1个点?
笔者认为这样才能构成多面体。
xn-x0,xn-x1,xn-xn-1;线性无关
则称x0…xn为顶点构成的多面体为n维单纯形。
例如二维坐标系x0,x1,x2;

如果只有两个点怎么组成面呢。

基本思想

是不是太复杂了，不急，下面慢慢来。
介绍几个定义：
最好点，是指所有点中函数值最小的点
最坏点，是指所有点中函数值最大的点（谁不喜欢大的坏男人呢）
次坏点，指除去最坏的 之外最坏的。（没人会记得第二！大家要做第一）
计算n+1个点中去掉最坏点的形心

终止条件：
流程图

例题：

后面需要更改，不过题目是能做出来的。

4powell方向加速法（不用计算偏导的共轭方向法）

有一个硬性要求。
方向p必须是线性无关的
就不多说什么原理之类令人头大的了。直接上流程图。

and 例题


终止条件可以根据需求进行更改，例如这个题中就没有使用精度，而是使用的是导数为0.要灵活。

5改进的Powell算法