多元函数的泰勒(Taylor)展开式

红色石头的个人网站：redstonewill.com

实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。

• 一元函数在点 xk x k 处的泰勒展开式为：
  

  f(x)=f(xk)+(x−xk)f′(xk)+12!(x−xk)2f′′(xk)+on f ( x ) = f ( x k ) + ( x − x k ) f ′ ( x k ) + 1 2 ! ( x − x k ) 2 f ″ ( x k ) + o n

• 二元函数在点 (xk,yk) ( x k , y k ) 处的泰勒展开式为：
  

  f(x,y)=f(xk,yk)+(x−xk)f′x(xk,yk)+(y−yk)f′y(xk,yk)+12!(x−xk)2f′′xx(xk,yk)+12!(x−xk)(y−yk)f′′xy(xk,yk)+12!(x−xk)(y−yk)f′′yx(xk,yk)+12!(y−yk)2f′′yy(xk,yk)+on f ( x , y ) = f ( x k , y k ) + ( x − x k ) f x ′ ( x k , y k ) + ( y − y k ) f y ′ ( x k , y k ) + 1 2 ! ( x − x k ) 2 f x x ″ ( x k , y k ) + 1 2 ! ( x − x k ) ( y − y k ) f x y ″ ( x k , y k ) + 1 2 ! ( x − x k ) ( y − y k ) f y x ″ ( x k , y k ) + 1 2 ! ( y − y k ) 2 f y y ″ ( x k , y k ) + o n

• 多元函数(n)在点 xk x k 处的泰勒展开式为：
  

  f(x1,x2,…,xn)=f(x1k,x2k,…,xnk)+∑i=1n(xi−xik)f′xi(x1k,x2k,…,xnk)+12!∑i,j=1n(xi−xik)(xj−xjk)f′′ij(x1k,x2k,…,xnk)+on f ( x 1 , x 2 , … , x n ) = f ( x k 1 , x k 2 , … , x k n ) + ∑ i = 1 n ( x i − x k i ) f x i ′ ( x k 1 , x k 2 , … , x k n ) + 1 2 ! ∑ i , j = 1 n ( x i − x k i ) ( x j − x k j ) f i j ″ ( x k 1 , x k 2 , … , x k n ) + o n

• 把Taylor展开式写成矩阵的形式：

f(x)=f(xk)+[∇f(xk)]T(x−xk)+12![x−xk]TH(xk)[x−xk]+on f ( x ) = f ( x k ) + [ ∇ f ( x k ) ] T ( x − x k ) + 1 2 ! [ x − x k ] T H ( x k ) [ x − x k ] + o n

其中：

H(xk)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(xk)∂x21∂2f(xk)∂x2∂x1⋮∂2f(xk)∂xn∂x1∂2f(xk)∂x1∂x2∂2f(xk)∂x22⋮∂2f(xk)∂xn∂x2⋯⋯⋱⋯∂2f(xk)∂x1∂xn∂2f(xk)∂x2∂xn⋮∂2f(xk)∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ H ( x k ) = [ ∂ 2 f ( x k ) ∂ x 1 2 ∂ 2 f ( x k ) ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ( x k ) ∂ x 1 ∂ x n ∂ 2 f ( x k ) ∂ x 2 ∂ x 1 ∂ 2 f ( x k ) ∂ x 2 2 ⋯ ∂ 2 f ( x k ) ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ( x k ) ∂ x n ∂ x 1 ∂ 2 f ( x k ) ∂ x n ∂ x 2 ⋯ ∂ 2 f ( x k ) ∂ x n 2 ]

---