多元函数（multivariate function）分析（方向导数和梯度）

• 二阶泰勒展开：

  f(x)=f(0)+f′Tx+12xTf′′x+o(⋅)
  
  对等式右端求导，并置 0，得 x=f′′−1f′

1. 方向导数与梯度

设有单位向量 h=(h1,h2,⋯,hn)∈Rn（当然不要求 hi 之间必须相等），它表示 n 维空间中的一个方向（长度是单位 1），可微（多元）函数 f(x) 在点 x 沿 h 方向的方向导数（directional derivative，沿着某方向的导数）定义为：

∂f(x)∂h=limα→0+f(x+αh)−f(x)α

对 f(x+αh) 执行（在 x 处）泰勒展开：

f(x+αh)=f(x)+∇f(x)T(αh)+o(∥αh∥)

因此方向导数定义式进一步可化为：

∂f(x)∂h===∇f(x)T(αh)+o(∥αh∥)α∇f(x)Th∥∇f(x)∥cos(∇f(x),h)

所以其沿任意方向的导数为：hT∇f：

• 大于 0，为上升方向（f(x+αh)−f(x)>0）；
• 小于 0，则为下降方向（f(x+αh)−f(x)<0）；
• cos(∇f(x),h)=1（夹角为 0°，h=∇f） 时，∂f∂h 取的最大值，为 ∥∇f∥，h=∇f 为最速上升方向；
• cos(∇f(x),h)=−1（夹角为 180°，h=−∇f） 时，∂f∂h 取得最小值，为 −∥∇f∥，h=−∇f 为最速下降方向；

2. 几种特殊类型的函数，求梯度

自然是对自变量 x 求偏导；求梯度得到的是一个列向量；

• bTx=∑ibixi，则 ∇bTx=b

• xTx=∑ix2i，则 ∇xTx=2x

• xTAx（AT=A），则 ∇xTAx=2Ax