逻辑回归中的sigmoid函数及负对数似然函数求导

逻辑回归中的sigmoid函数及负对数似然函数求导:

查了好多笔记都是抄抄抄,中间有一步很简单但很关键,都没有展示,只能上笔了,记录一下:
sigmoid函数:
s i g m o i d ( w x ) = η ( w x ) = 1 1 + e x p ( − w x ) sigmoid(wx)=\eta{(wx)}=\frac{1}{1+exp(-wx)} sigmoid(wx)=η(wx)=1+exp(wx)1
负对数似然函数:
L = − ∑ i [ y i ∗ l o g ( η ( w x ) ) + ( 1 − y i ) ∗ l o g ( 1 − η ( w x ) ) ] L=-\sum_i{[y_i*log{(\eta{(wx)}})+(1-y_i)*log{(1-\eta{(wx)})}]} L=i[yilog(η(wx))+(1yi)log(1η(wx))]
L对w求导:
δ L δ w = − ∑ i [ y i ∗ 1 η ( w x ) − ( 1 − y i ) ∗ 1 1 − η ( w x ) ] ∗ η ( w x ) ′ \frac{\delta{L}}{\delta{w}}=-\sum_i{[y_i*\frac1{\eta{(wx)}}-(1-y_i)*\frac1{1-\eta{(wx)}}]}*\eta(wx)' δwδL=i[yiη(wx)1(1yi)1η(wx)1]η(wx)
提出 η ( w x ) ′ \eta(wx)' η(wx)
η ( w x ) ′ = ( 1 1 + e x p ( − w x ) ) ′ \eta(wx)'=(\frac{1}{1+exp(-wx)})' η(wx)=(1+exp(wx)1)
= − 1 ( 1 + e x p ( − w x ) ) 2 ∗ e x p ( − w x ) ∗ ( − x ) =-\frac1{(1+exp(-wx))^2}*exp(-wx)*(-x) =(1+exp(wx))21exp(wx)(x)
= e x p ( − w x ) 1 + e x p ( − w x ) ∗ 1 1 + e x p ( − w x ) ∗ x =\frac{exp(-wx)}{1+exp(-wx)}*\frac{1}{1+exp(-wx)}*x =1+exp(wx)exp(wx)1+exp(wx)1x
= ( 1 − η ( w x ) ) ∗ η ( w x ) ∗ x =(1-\eta{(wx)})*\eta{(wx)}*x =(1η(wx))η(wx)x
因此,
δ L δ w = − ∑ i [ y i ∗ ( 1 − η ( w x ) ) − ( 1 − y i ) ∗ η ( w x ) ] ∗ x \frac{\delta{L}}{\delta{w}}=-\sum_i{[y_i*(1-\eta{(wx)})-(1-y_i)*\eta{(wx)}]*x} δwδL=i[yi(1η(wx))(1yi)η(wx)]x
= − ∑ i ( y i − η ( w x ) ) ∗ x =-\sum_i{(y_i-\eta{(wx)})*x} =i(yiη(wx))x

你可能感兴趣的:(逻辑回归中的sigmoid函数及负对数似然函数求导)