logistic回归算法的损失函数:binary_crossentropy(二元交叉熵)

假设函数

更为一般的表达式:   
         (1)
 
似然函数:
             (2)
对数似然函数:
如果以上式作为目标函数,就需要最大化对数似然函数,我们这里选择 最小化负的对数似然函数
            (3)
对J(w)求极小值,对求导
 
   
              (4)
上述中  表示第i个样本的第j个属性的取值。
 
于是 的更新方式为:
     
                        (5)
 
将(5)式带入(4)式,得:
 
梯度下降GD的更新方式,使用全部样本:
   (6)
当样本不多的时候,可以选择这个方法
随机梯度下降:
每次只取一个样本,则 的更新方式:
 
                     (7)
 
 为这个样本的特征值, 是其真实值, 是这个样本的第j个属性
 
随机平均梯度下降法(sag,Stochasitc Average Gradient )
该算法是选取一小部分样本梯度的平均值来更新权重(其中n
             (8)
SGD和GD算法的折中
 
小结:
在尝试写一些机器学习相关的笔记,先写下一篇,欢迎讨论~

转载于:https://www.cnblogs.com/sunrise-keephungary/p/10056027.html

你可能感兴趣的:(人工智能,python)