逻辑回归公式推导

逻辑回归

• 逻辑回归到底是分类还是回归？
  • 它是经典的二分类算法
• 机器学习算法选择：先逻辑回归再用复杂的，能简单的还是用简单的。
• 逻辑回归的决策边界：可以是非线性的。

激活函数：sigmoid函数

• 公式：
  image.png

• 图像：
  image.png
  • 自变量取值为任意实数，值域为[0,1]
  • 将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中，这样就完成了由值到概率的转换，也就是分类任务。

• 预测函数：
  image.png
  ，其中
  image.png

• 分类任务：
  image.png

• 整合：
  image.png

  • 解释：对于二分类任务(0,1),整合之后y取1只保留
    image.png

    y取0只保留了

    
    
    image.png

• 似然函数：
  似然函数.png

• 对数似然：
  对数似然.png

• 应用梯度上升求最大值，引入
  梯度下降.png

  转换为求最小值。

• 求导过程：

  • sigmoid函数求导：
    sigmoid函数求导

  • 目标函数求导：
    公式求导.png

• 利用梯度下降，参数更新：
  梯度下降参数更新

• 多分类的softmax：
  多分类