机器学习笔记_数学基础_1-微积分

微积分

• 极限
• 导数 ： 一阶导数；二阶倒数；
• 微分中值定理
  （1）罗尔定理（倒数为零的点是驻点）
  （2）拉格朗日中值定理
• 泰勒公式
  f(x)=f(x0)+f′(x0)(x−x0)+f”(x0)2!(x−x0)2+⋯+fracfn(x0)n!(x−x0)n+o(xn)
• 二阶倒数
• 凹凸性
  凸函数： f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  f′′(x)>0
  推广：
  f(θ1x1+⋯+θnxn)≤θ1f(x1)+⋯+θnf(xn)

多远微积分

• 偏导数

• 方向导数
  ∂f∂l=∂f∂xcosϕ+∂f∂ysinϕ
  PS： ϕ 是x轴到方向L的转角

• 梯度: 函数 z=f(x,y) 在P点的梯度 gradf(x,y)=∇xf(x0+y0)i+∇yf(x0+y0)j

• 多元函数求极值

多元函数等式条件极值： 拉格朗日乘数法

• 函数 z=f(x,y) 在条件 φ(x,y)=0 添加下取得极值
• 定义拉格朗日函数 L(x,y)=f(x,y)+λφ(x,y)

⎧⎩⎨⎪⎪⎪⎪fx(x0,y0)+λφx(x0,y0))=0fy(x0,y0)+λφy(x0,y0))=0φ(x,y0))=0