吴恩达之神经网络和深度学习-2.9logistic回归中的梯度下降算法

本节课是按照三个函数来进行的，由3个函数进行梯度下降算法的计算。
z=wTx+b z = w T x + b
y^=a=σ(z)=11+e−z y ^ = a = σ ( z ) = 1 1 + e − z
L(a,y)=−(ylog(a)+(1−y)log(1−a)) L ( a , y ) = − ( y l o g ( a ) + ( 1 − y ) l o g ( 1 − a ) )
假设我们有两个特征值 x1、x2 x 1 、 x 2 ,需要去找到对应的 w1、w2和b w 1 、 w 2 和 b 的最小值。
首先我们求 da d a
da=dL(a,y)da=[−yloga−(1−y)log(1−a)]′=[−yloga−log(1−a)+ylog(1−a)]′=−ya+11−a−y1−a=−ya+1−y1−a d a = d L ( a , y ) d a = [ − y l o g a − ( 1 − y ) l o g ( 1 − a ) ] ′ = [ − y l o g a − l o g ( 1 − a ) + y l o g ( 1 − a ) ] ′ = − y a + 1 1 − a − y 1 − a = − y a + 1 − y 1 − a
dadz=[11+e−z]′=e−z(1+e−z)2=((1+e−z)−1)(1+e−z)2=11+e−z−(11+e−z)2=a−a2=a(1−a) d a d z = [ 1 1 + e − z ] ′ = e − z ( 1 + e − z ) 2 = ( ( 1 + e − z ) − 1 ) ( 1 + e − z ) 2 = 1 1 + e − z − ( 1 1 + e − z ) 2 = a − a 2 = a ( 1 − a )
dz=dL(a,y)dadadz=(a−a2)(1−y1−a−ya)=a−ay1−a−y−a2−a2y1−a+ay=a−ay−(a2−a2y)1−a−y+ay=a−ay−a(a−ay)1−a−y+ay=(1−a)(a−ay)1−a−y+ay=a−ay−y+ay=a−y d z = d L ( a , y ) d a d a d z = ( a − a 2 ) ( 1 − y 1 − a − y a ) = a − a y 1 − a − y − a 2 − a 2 y 1 − a + a y = a − a y − ( a 2 − a 2 y ) 1 − a − y + a y = a − a y − a ( a − a y ) 1 − a − y + a y = ( 1 − a ) ( a − a y ) 1 − a − y + a y = a − a y − y + a y = a − y
dw1=dL(a,y)dw1=dL(a,y)dadadzdzdw1=x1dz d w 1 = d L ( a , y ) d w 1 = d L ( a , y ) d a d a d z d z d w 1 = x 1 d z
同理可知
dw2=x2dz d w 2 = x 2 d z
db=dz d b = d z
由此，我们可以知道单个样本的梯度下降算法的计算过程是怎样进行的，那么下节课我们将看多种样本的梯度下降算法的计算过程。