Supervised Classification——Logistic Regression Classification

1. 理解

Logistic regression classifier实际上就是将所有的特征乘以一个权重然后相加起来得到一个值（跟线性回归一样），将这个结果输入到一个sigmod/logistic函数中，我们就会得到一个0-1之间的值（返回一个概率值）。 当这个值大于0.5， 我们将这个实例分为类别1；小于0.5，则归类为类别0。该分类可以应用于判断邮件是否是垃圾邮件、交易是否是欺诈以及肿瘤是否良性还是恶性。

Advanatages:

• Efficient and straightforward
• It doesn’t require high computation power
• It doesn’t require scaling of features
• Provides a probability score for observations

Disadvantages:

• Not able to handle a large number of categorical features/variables.
• It is vulnerable to overfitting
• It can’t solve the non-linear problem with the logistic regression.
• Logistic regression will not perform well with independent variables that are not correlated to the target variable and are very similar or correlated to each other.

2. 方法

2.1 Hypothesis representation

下面式子是模型的假设：

$$f(x)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n=w^{T}x+b,[w:Matrixof\theta ]$$
$$h_{\theta }(x)=\frac{1}{1+e^{-f(x)}}$$

2.2 Cost function

定义代价函数用于评估模型的好坏（真实与预测的偏差，模型与数据拟合程度），我们想要使得代价函数尽可能的小以获得一个好的模型， 实际上，就是通过代价模型求取模型的参数。所谓通过训练获得模型存储模型，实际上就是存储参数。

在logistic regression分类中， 一般我们将分为两个类class 1 和class 2，这里对应的实际值y(标签)为0和1。而$h_{\theta }(x)$ 实际上是一个在[0-1]之间的概率值。

$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& y=1\\ -log(1-h_{\theta }(x))& y=0\end{array}$$

从下面的图像我们也可以看出来， 当实际与预测接近是，代价趋近于0，反之则很大。

将代价方程合并为一个式子：

$$J(\theta )=-\frac{1}{m}\sum y^{(i)}log(h_{\theta }(x)+(1-y^{(i)})log(1-h_{\theta }(x)))$$

用最大似然的思想定义代价函数：

2.2 Gradient Descent

实际上，梯度下降就是找到一个方向（对$\theta$求导），使得$J(\theta )$下降得最快, 它是一种迭代求解的方法，通过在每一步选取使目标函数变化最快的一个方向调整参数的值来逼近最优值。 具体的推导过程见参考链接2.

$$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m(y-h_{\theta }(x^{(i)}))x_j^{(i)}=\Delta {\theta }_j$$

我们已经知道了梯度下降的方向，定义一个步长$\alpha$，就可以更新模型参数$\theta$。
$${\theta }_j={\theta }_j-\Delta {\theta }_j$$

3. 代码

# Load data
from sklearn import datasets
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

iris = datasets.load_iris()

X = iris.data
y = iris.target

# Split train and test set
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3,
                                                   random_state = 21, stratify = y)
X_train.shape, X_test.shape   #((105, 4), (45, 4))
y_train.shape, y_test.shape   #((105,), (45,))

# Logistic regression
from sklearn.linear_model import LogisticRegression
logreg = LogisticRegression()
logreg.fit(X_train,y_train)

y_predict = logreg.predict(X_test)
# array([2, 2, 2, 2, 1, 0, 1, 0, 0, 1, 0, 2, 0, 2, 2, 0, 0, 0, 1, 0, 2, 2,
#       2, 0, 1, 1, 1, 0, 0, 1, 2, 2, 0, 0, 1, 2, 2, 1, 1, 2, 1, 1, 0, 2,
#       1])

# Accuracy
logreg.score(X_test, y_test)
#0.9777777777777777

# import the metrics class
from sklearn import metrics
cnf_matrix = metrics.confusion_matrix(y_test, y_pred)
cnf_matrix
#array([[15,  0,  0],
#       [ 0, 14,  1],
#       [ 0,  0, 15]])

参考

1. Introduction to Logistic Regression
2. Logistic Regression–逻辑回归模型
3. logistic regression model