机器学习—逻辑回归

逻辑回归

往期相关内容

单变量线性回归
多变量线性回归

简介

逻辑回归的本质就是利用类似于线性回归的方法，解决分类问题。其本质是一个分类算法。

模型表示

$$h_{\theta }(x)=g({\theta }^{T}X)$$
其中，X代表特征向量；g代表逻辑函数，常用sigmoid function：
$$g(z)=\frac{1}{1+e^{-z}}$$
该函数的图像为：

  该模型可以理解为，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性，即$h_{\theta }=P(y=1|x;\theta )$。例如，对于给定的x，计算达到$h_{\theta }(x)=0.7$，则表示x有70%的概率为正类。所有，在逻辑回归中：
$$y=\{\begin{array}{ll}0,& \text{if hθ(x)≤0.5}\\ 1,& \text{if hθ(x)≥0.5}\end{array}$$

代价函数

$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$
其中：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& \text{if y = 1}\\ -log(1-h_{\theta }(x))& \text{if y = 0}\end{array}$$
可简化如下：
$$Cost(h_{\theta }(x),y)=-y\times \log (h_{\theta }(x))-(1-y)\times \log (1-h_{\theta }(x))$$
带入代价函数可以得到：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$

梯度下降

$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_j^{(i)}$$
除了梯度下降法，我们还可以使用共轭梯度法 BFGS、L-BFGS 对代价函数进行优化。

python实现

# 梯度下降逻辑回归2
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
import scipy.optimize as opt
from sklearn.metrics import classification_report as c_r


# 获取X、y矩阵
def getX(df):
    ones = pd.DataFrame({'ones': np.ones(len(df))})
    data = pd.concat([ones, df], axis=1)
    return np.array(data.iloc[:, :-1])


def gety(df):
    return np.array(df.iloc[:, -1])


# sigmoid函数
def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))


# 代价函数
def cost(theta, X, y):
    return np.mean(-y * np.log(sigmoid(X @ theta)) - (1 - y) * np.log(1 - sigmoid(X @ theta)))


# 梯度下降
def gradientDescent(theta, X, y):
    return X.T @ (sigmoid(X @ theta) - y) / len(y)


# 预测和验证
def predict(x, theta):
    prob = sigmoid(x @ theta)
    return (prob >= 0.5).astype(int)


if __name__ == '__main__':
    # 获取数据
    data = pd.read_csv('ex2data1.txt', names=['exam1', 'exam2', 'admitted'])
    # 获取X、y,并随机生成Θ初始值
    X = getX(data)
    y = gety(data)
    theta = np.random.rand(X.shape[1])
    # 拟合参数
    res = opt.minimize(fun=cost, x0=theta, args=(X, y), method='BFGS', jac=gradientDescent)
    theta = res.x
    # 预测
    y_pred = predict(X, theta)
    print(c_r(y, y_pred))
    # 绘制边界函数
    sns.lmplot('exam1', 'exam2', data=data, hue='admitted',
               size=6, fit_reg=False, scatter_kws={"s": 50})
    x = np.arange(20, 130, step=0.1)
    y = (-theta[0] - x * theta[1]) / theta[2]
    plt.plot(x, y, 'red')
    plt.xlim(20, 130)
    plt.ylim(20, 130)
    plt.title('Decision Boundary')
    plt.show()