机器学习算法笔记1_2:分类和逻辑回归(Classification and Logistic regression)

  1. 形式:

    采用sigmoid函数:
    g(z)=11+ez

    其导数为 g(z)=(1g(z))g(z)
    假设:

    即:

    若有m个样本,则似然函数形式是:

    对数形式:

    采用梯度上升法求其最大值
    求导:

    更新规则为:

    可以发现,则个规则形式上和LMS更新规则是一样的,然而,他们的分界函数 hθ(x) 却完全不相同了(逻辑回归中h(x)是非线性函数)。关于这部分内容在GLM部分解释。
    注意:若h(x)不是sigmoid函数而是阈值函数:

    这个算法称为感知学习算法。虽然得到更新准则虽然相似,但与逻辑回归完全不是一个算法了。
  2. 另一种最大化似然函数的方法–牛顿逼近法
    • 原理:假设我们想得到一个函数的过零点 f(θ)=0 ,可以通过一下方法不断更新 θ 来得到:

      其直观解释如下图:

      给定一个初始点 θ0 ,如果 f(θ0) 和其导数同号说明过零点在初始点左边,否则在初始点右边,将初始点更新过该店的切线的过零点继续上述步骤,得到的切线过零点会不断逼近最终所要求的函数过零点。
    • 应用: 在逻辑回归中,我们要求似然函数的最大(最小)值,即似然函数导数为0, 因此可以利用牛顿逼近法:

      由于lr算法中 θ 是一个向量,上式改写为:

      其中H为Hessian矩阵:

      牛顿法往往比(批处理)梯度下降法更快收敛。

你可能感兴趣的:(机器学习)