理解区分全微分、导数、偏导数等

重点理解多元函数下的基础概念

假设原函数为 F ( x , y ) = x 2 + y 2 + 2 x y = 0 F(x,y) = x^2+y^2+2xy=0 F(x,y)=x2+y2+2xy=0

1. 理解偏微分与全微分

微分,是取连续值当中的极小增量部分,Δx,则表示为dx或əx

1.1 一元函数的微分

  • 假设y是x的显函数,例如y =F(x)= 2x+1,那么y的微分,则是由于x的微分而改变

    y与x的导数为 2 2 2,那么当x增加或减少的Δx时,y的增量Δy = 2*Δx

    当Δx趋近于0,或是取一个非常非常小的值时,我们就将Δx等同于dx

    则dy = 导数*dx,导数就像是一个变化率,如果你迈出一小步(dx),那么经过导数的作用,y会迈出属于它的那一步dy,而导数越大,dy也就越大

  • 假设y和x是隐函数,例如2x+xy+lny=0,则求微分,实际求的就是dy

    根据微分的定义:dy = 导数*dx,只要求出y对x的导数,即可表示出dy。
    可以设F(x,y)=2x+xy+lny=0,而x和y的函数关系可假设为y = y(x)
    因此可以对隐函数两侧对x进行求导 F ′ ( x , y ( x ) ) = F x ′ + F y ′ ∗ y x ′ = 0 F'(x,y(x))=F'_x+F'_y*y'_x=0 F(x,y(x))=Fx+Fyyx=0
    则可以得到y对x的导数: y x ′ = − F x ′ F y ′ y'_x=-\frac{F'_x}{F'_y} yx=FyFx 这个式子也叫隐函数求导法则
    因此 d y = y x ′ d x = − F x ′ F y ′ d x dy = y'_xdx=-\frac{F'_x}{F'_y}dx dy=yxdx=FyFxdx

    • F x ′ = ə F ə x F'_x=\frac{əF}{əx} Fx=əxəF, F y ′ = ə F ə y F'_y=\frac{əF}{əy} Fy=əyəF,但一般不拆开来算,只需用 y x ′ y'_x yx表示即可

1.2 多元函数的全微分

  • 假设z = F(x,y)是一个多元显函数,例如 z = xy+3x^2 +lny,求全微分就是求dz
    x的偏导数为 ə z ə x \frac{əz}{əx} əxəz
    y的偏导数为 ə z ə y \frac{əz}{əy} əyəz
    这里涉及导偏微分和偏导数的关系,后边再展开讲讲
    则z的增量,则是由x和y方向上的同时增量加和而成,
    Δz = x偏导数Δx+y偏导数Δy
    当此时的Δ如果非常小,就表示为微分d
    dz = x偏导数dx + y偏导数dy
    这就是全微分方程 dz = x偏导数dx + y偏导数dy

    解释一下,偏导数和偏微分的关系,重点是要理解偏微分
    其实,偏微分,就是əx,əy
    x的偏微分əx,表示的是x方向上的增量Δx,趋近于很小很小的时候写为əx,实际之前讲的dx,有异曲同工之妙,但意义上相似
    只由x方向的增量Δx,影响到z的改变Δz,则Δz = x偏导数*Δx,

    • 那么 x 的偏导数 = Δ z Δ x = ə z ə x x的偏导数 = \frac{Δz}{Δx}=\frac{əz}{əx} x的偏导数=ΔxΔz=əxəz,注意:这里的Δz是在不改变y,只改变x的情况下产生的z增量
    • 同理可得 y 的偏导数 = Δ z Δ y = ə z ə y y的偏导数 = \frac{Δz}{Δy}=\frac{əz}{əy} y的偏导数=ΔyΔz=əyəz,注意:这里是在不改变x,只改变y的情况下…
    • 那么最终带入全微分方程: d z = x 偏导数 ∗ d x + y 偏导数 ∗ d y = ə z ə x d x + ə z ə y d y dz = x偏导数*dx + y偏导数*dy=\frac{əz}{əx}dx+\frac{əz}{əy}dy dz=x偏导数dx+y偏导数dy=əxəzdx+əyəzdy
    • 要知道的是 ə z ə x \frac{əz}{əx} əxəz里的əz,与 ə z ə y \frac{əz}{əy} əyəz里的əz是不同的!!!!
    • 因此,尽量不要让 ə z ə x \frac{əz}{əx} əxəz拆开来计算,əz的值不是一个用来量化计算的值,它是一个表示符号,只有当它与具体的变量组合成例如 ə z ə x \frac{əz}{əx} əxəz,才表示了一个明确的可量化含义:偏导数
    • 实际我们只要表示为 d z = F x ′ d x + F y ′ d y dz = F'_xdx+F'_ydy dz=Fxdx+Fydy即可

    .

  • 假设z和y和x是多元隐函数,例如 zxy+2x+xy+3lny=0 ,z是由x与y共同确定的,相当于z是因变量,x和y是两个自变量,那么函数可以写为F(x,y,z)=zxy+2x+xy+3lny=0

    • 此时求全微分,是对因变量求的全微分,即dz
    • d z = z 对 x 的偏导数 ∗ d x + d 对 y 的偏导数 ∗ d y dz = z对x的偏导数*dx+d对y的偏导数*dy dz=zx的偏导数dx+dy的偏导数dy
    • 重点在于隐函数的偏导数公式:
      • 可知 z 对 x 的偏导数 z x ′ = ə z ə x = − F z ′ F x ′ , . z 对 y 的偏导数 z y ′ = ə z ə y = − F z ′ F y ′ z对x的偏导数z'_x=\frac{əz}{əx}=-\frac{F'_z}{F'_x},.z对y的偏导数z'_y=\frac{əz}{əy}=-\frac{F'_z}{F'_y} zx的偏导数zx=əxəz=FxFz,.zy的偏导数zy=əyəz=FyFz
      • F z ′ :原函数 F 对 z 求偏导 F'_z:原函数F对z求偏导 Fz:原函数Fz求偏导
      • F x ′ :原函数 F 对 x 求偏导 F'_x:原函数F对x求偏导 Fx:原函数Fx求偏导
      • F y ′ :原函数 F 对 y 求偏导 F'_y:原函数F对y求偏导 Fy:原函数Fy求偏导
    • 最终 d z = − F x ′ F y ′ d x − F y ′ F z ′ d y dz = -\frac{F'_x}{F'_y}dx-\frac{F'_y}{F'_z}dy dz=FyFxdxFzFydy

2. 明确导数、偏导数、梯度

导数,一般指的是一元函数的导数
偏导数,一般指的是多元函数的求导

全导数,一般不是指多元函数的偏导数加和,而是对某个元素的复合函数的求导

注意:全导数和全微分的维度是完全不一样的:
全导数:本质上是只对一个元素(一个变量)进行求导
全微分:本质上是对多个元素(多个变量)的微分增量加和

因此,所谓的全导数,实际是对一个元素的求导,但由于涉及了复合函数,因此可应用链式求导法则

2.1 多元显式函数的求导

例如f(x,y) = xy+x²+y²

  • f x ′ = y + 2 x f'_x = y+2x fx=y+2x
  • f y ′ = x + 2 y f'_y = x+2y fy=x+2y
  • 虽然是多元函数,但不涉及复合函数,因此谈不上全导数

2.2 多元隐式函数的求导

例如f(x,y,z) = xy+x²z+y²+lnz

  • 对原函数求偏导
    • f x ′ = y + 2 x z f'_x = y+2xz fx=y+2xz
    • f y ′ = x + 2 y f'_y = x+2y fy=x+2y
    • f z ′ = z + 1 z f'_z = z+\frac{1}{z} fz=z+z1
  • z对x,y求偏导
    • z x = − f x ′ f z ′ \frac{z}{x}=-\frac{f'_x}{f'_z} xz=fzfx,这是根据隐函数求导法则来的,只需要将上边的 f x ′ f'_x fx f z ′ f'_z fz代入
    • z y = − f y ′ f z ′ \frac{z}{y}=-\frac{f'_y}{f'_z} yz=fzfy,这是根据隐函数求导法则来的,只需要将上边的 f y ′ f'_y fy f z ′ f'_z fz代入计算
  • 虽然是多元函数,但不涉及复合函数,因此谈不上全导数

2.3 复合显示函数的求导

例如 z = f ( μ ( x , y ) , v ( x , y ) ) , μ ( x , y ) = x 2 + y 2 , v ( x , y ) = x + x y z=f(μ(x,y),v(x,y)) , μ(x,y)=x^2+y^2 , v(x,y)=x+xy z=f(μ(x,y),v(x,y)),μ(x,y)=x2+y2,v(x,y)=x+xy
求导数,实际也是z对x求导,或z对y求导

  • d z d x = ə z ə μ ∗ ə μ ə x + ə z ə v ∗ ə v ə x \frac{dz}{dx}=\frac{əz}{əμ}*\frac{əμ}{əx}+\frac{əz}{əv}*\frac{əv}{əx} dxdz=əμəzəxəμ+əvəzəxəv
  • d z d y = ə z ə μ ∗ ə μ ə y + ə z ə v ∗ ə v ə y \frac{dz}{dy}=\frac{əz}{əμ}*\frac{əμ}{əy}+\frac{əz}{əv}*\frac{əv}{əy} dydz=əμəzəyəμ+əvəzəyəv
  • 遵循链式求导法则【都是全导数】

而梯度,是由多个元素的偏导组成的,不是多个元素的偏导加和
例如上式中,梯度就是 g r a d = ( d z d x , d z d y ) grad = (\frac{dz}{dx},\frac{dz}{dy}) grad=(dxdz,dydz)

而全微分 = sum(梯度*各元素微分),全微分是对所有方向(即所有元素的微分增量加和)

你可能感兴趣的:(机器学习基础,线性代数,机器学习,矩阵)