逻辑回归——公式推导详情

记录Logistic的一次详尽公式推导及使用

  • 简介
    文章针对像我一样数学弱又想学好机器的朋友们!手写推导过程尽可能的详尽。后面还有案例实现,希望也能帮助大家理解。
    Logistic 回归模型和线性回归一样,都是 y = wx + b ,其中 x 可以是一个多维特征,唯一不同的地方在于Logistic 回归会对 y 作用一个Logistic 函数,将其变为一种概率结果,Logistic 函数作为逻辑回归核心,也称谓sigmod函数。

  • 基本公式
    下面公式不好表示,就用图片形式展示了。
    逻辑回归——公式推导详情_第1张图片
    假设:
    逻辑回归——公式推导详情_第2张图片

  • 代价函数
    效果的好坏需要定义一个代价函数来反映。如果将线性回归的代价函数(平方误差等)用在非线性中,那J(θ)很有可能就是非凸函数,即存在很多局部最优解,但不一定是全局最优解。我们希望构造一个凸函数,也就是一个碗型函数做为逻辑回归的代价函数。联想到高数的似然方程,按照求最大似然函数的方法,定义逻辑回归似然函数:
    逻辑回归——公式推导详情_第3张图片
    问题转换为求L(θ)的极值。其中,m为样本总数,y(i)表示样本的类别,x(i)表示第i个样本,需要注意的是θ为多维向量,x(i)也是多维向量。下面利用似然函数常处理的方法,两边去log将乘法运算转换为加法。
    逻辑回归——公式推导详情_第4张图片
    然后就是求导取极值(如果存在)。

  • 求导过程
    根据公式:
    逻辑回归——公式推导详情_第5张图片
    我们可以把logL(θ)看成3部分处理。

    最终求得:

  • 代码实现
    最后我们用代码实现来加深下这个公式的理解。自己实现一个梯度下降或者上升的方法。

import numpy as np;
from tensorflow import sigmoid

# 梯度上升方法
def gradAscent(dataMatIn , classLabels):
    dataMatrix = np.mat(dataMatIn)  #转换成numpy 的mat
    labelMat = np.mat(classLabels).transpose()  #转换成numpy的mat格式,再装置
    m,n = np.shape(dataMatrix);  #获取dataMatrix的行列数
    alpha = 0.01     #更新速率
    maxCycles = 5000   #迭代次数
    weights = np.ones((n,1))    #初始化权重矩阵
    for i in range(maxCycles):
        h = sigmoid(dataMatrix * weights)    # 计算预测值h
        error = labelMat - h
        # 我们刚才推导的公式!
        weights = weights + alpha * dataMatrix.transpose() * error    
    return weights.getA()                       #将矩阵转换为数组,返回权重数组

你可能感兴趣的:(机器学习,python,算法,逻辑回归,Logistic,公式推导,代码实现,机器学习)