闲扯数学规划问题(1)-极大值与等高线

最优化问题

　　数学规划问题，或着说最优化问题，一般可写成下面的形式：

maxs.t.f(x)g(x)=c(1)

先看看二维的问题

　　为了简单起见，我们考虑二维情况，假设 x=(x1,x2) ，则最优化问题变成如下形式：

maxs.t.f(x1,x2)g(x1,x2)=c(2)

　　几何意义非常明显，要求在曲线 g(x1,x2)=c 上找一点，使得函数 f(x1,x2) 取得最大值。因为 f(x1,x2) 是一个曲面，形象一点说，问题就是在山上寻找一条山路的最高点。

聊一聊等高线

　　求解最优规划问题的关键在于曲面的等高线。我们停下脚步，看看等高线有趣的性质。对于曲面 f(x1,x2) 来说，其等高线可以表示成下面的形式，

f(x1,x2)=c(3)

　　两边进行微分，得到，

∂f∂x1dx1+∂f∂x2dx2=0(4)

　　可以看出， dx1,dx2 之间是有关系的。实际上，微分 dx=(dx1,dx2) 与曲线 f(x1,x2)=c 切线方向一致。如果觉得不好理解的话，可以吧 x1,x2 换成 x,y ，问题就变成一元函数求导，我们知道 dy/dx 表示曲线的切线斜率，当然 (dx,dy) 就与曲线的切线方向相同。于是，我们得到曲面等高线的切线向量，

dx=(dx1,dx2)(5)

　　我们知道，曲面 f(x1,x2) 的梯度可表示为，

∇f(x1,x2)=(∂f∂x1,∂f∂x2)(6)

　　于是(4)式可以表示为，

∇f⋅dx=0(7)

　　可以看出， 曲面上任意一点，其等高线的切线方向与其梯度方向相互垂直。

约束条件本质上是曲面的等高线

　　约束条件 g(x1,x2)=c ，实际上就是曲面 g(x1,x2) 的一条等高线。根据前面的结论，它的切线方向与梯度方向垂直。

目标函数的等高线

　　二元函数的最优规划问题，和寻找山间小路上的最高点的思路是一样。到达山间小路最高点位置后，无论沿山间小路哪个方向走，都是下坡，都会走向较低的等高线，因此，在小路的最高点位置，小路必须与山坡的等高线相切。
　　同样，我们沿着曲线 g(x1,x2)=c 到达最曲面 f(x1,x2) 最高点，这条小路一定与曲面 f(x1,x2) 在此位置的等高线相切，也就是曲线 g(x1,x2)=c 与曲线 f(x1,x2)=c′ 在最大值位置相切。或者从梯度的角度来看，曲面 f(x1,x2),g(x1,x2) 在最大值位置梯度方向是相同的。
　　换句话讲，如果规划问题在 (x1,x2) 处取得最大值，一定存在常数 λ 使得，

∇f(x1,x2)=λ∇g(x1,x2)(8)

　　看到这里怎么有些懵圈呢？最优解和常数 c 怎么就没关系了呢？不是说好的 g(x1,x2)=c 吗？实际上， λ 是待定参数， c 的值可以用来确定 λ 的值。下面我们牛刀小试，看一个具体的例子。

一个具体例子

　　例1 求下面规划，

maxs.t.10−(x1−1)2+(x2−2)22x1+x2=1(9)

　　 解：

f(x1,x2)g(x1,x2)==10−(x1−1)2+(x2−2)22x1+x2

　　由于，

∇f(x1,x2)=λ∇g(x1,x2)

　　于是，

(−2x1+2,−2x2+4)=λ(2,1)

　　即，

{−2x1+2−2x2+4==2λλ

　　所以，

x1=−λ+1,x2=−12λ+2(10)

　　代入(9)，

2x1+x2=1

　　即，

λ=65

　　代入(10)，得，

x1=−15,x2=75

　　此时，

f(x1,x2)===10−(x1−1)2+(x2−2)210−(−15−1)2+(75−2)2......

■
　　
　　（未完待续…）