监督学习 | 线性分类 之Logistic回归原理及Sklearn实现

相关文章：

机器学习 | 目录

监督学习 | 线性回归 之多元线性回归原理及Sklearn实现

监督学习 | 非线性回归 之多项式回归原理及Sklearn实现

监督学习 | 线性回归 之正则线性模型原理及Sklearn实现

1. Logistic 回归

我们之前讨论了如何用线性模型进行回归，但若要做的是分类问题怎么办？其实只需要找一个单调可微函数将分类任务的真实标记 $y$ 与线性回归模型的预测值 $z$联系起来。

考虑二分类任务，其输出标记 $y\in \{0,1\}$ ，而线性回归模型产生的预测值 $z={\mathbf{w}}^T\mathbf{x}+b$ 是实值，于是，我们只需将实值 $z$ 转换为 0/1 值。最理想的是“单位阶跃函数”（unit-step function）：

$$y=\{\begin{array}{rlr}& 0,& z<0\\ & 0.5,& z=0\\ & 1,& z>0\end{array}\text{\hspace{1em}(3)}$$

即若预测值 $z$ 大于零就判为正例，小于零就判为反例，预测值为临界值零则可任意判断，如下图所示：

图1 单位阶跃函数与对数几率函数

但如图所示，单位阶跃函数不连续，所以我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”（surrogate function），并希望它单调可微，对数几率函数正是这样一个常用的替代函数。

1.1 Logistic 函数

对数几率函数（Logistic function）是一种“Sigmoid 函数”，它将 $z$ 值转化为接近 0 或 1 的 $y$ 值，并且其输出值在 $z=0$ 附近变化很陡。

对数几率函数:
$$f(z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(1)}$$

将 $z={\mathbf{w}}^T\mathbf{x}+b$ 代入得：

$$p=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}\text{\hspace{1em}(2)}$$

移项并取对数得：

$$ln(\frac{p}{1-p})={\mathbf{w}}^T\mathbf{x}+b\text{\hspace{1em}(3)}$$

若将 $p$ 视为样本 $\mathbf{x}$ 作为正例的可能性，则 $1-p$ 是其反例可能性，两者比值

$$\frac{p}{1-p}\text{\hspace{1em}(4)}$$

称为“几率”（odds），反映了 $\mathbf{x}$ 作为正例的相对可能性。对几率取对数则得到“对数几率”（log odds，亦称 logit）：

$$logit(p)=ln\frac{p}{1-p}\text{\hspace{1em}(5)}$$

由此可以看出，式 (2) 实际上是在用线性回归模型的预测结果取逼近真实标记的对数几率，因此，其对于的模型称为“对数几率回归”（logisitc regression，亦称 logit regression，逻辑回归）。

需要特别注意到，虽然它的名字是“回归“，但实际确实一种分类学习方法。

这种方法有很多优点，例如：

• 它是直接对分类可能性进行建模，无需实现假设数据分布，这样就避免了假设分布不准确所带来的问题；

• 它不是仅预测出”类别“，而是可得到近似概率预测，这对许多需要利用概率辅助决策的任务很有用；

• 此外，对率函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可以直接用于求解最优解。^[1]

1.2 Logistic 回归模型

记 $\mathbf{w}=({\mathbf{w}}^{(1)},{\mathbf{w}}^{(2)},\cdots ,{\mathbf{w}}^{(n)},b{)}^T$ ，$\mathbf{x}=({\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)},\cdots ,{\mathbf{x}}^{(n)},1{)}^T$。

我们可以将公式 (3) 重写为：

$$ln\frac{p(y=1|x)}{p(y=0|x)}=\mathbf{w}\cdot x\text{\hspace{1em}(6)}$$

显然有：

$$p(y=1|\mathbf{x})=\frac{exp(\mathbf{w}\cdot \mathbf{x})}{1+exp(\mathbf{w}\cdot \mathbf{x})}\text{\hspace{1em}(7)}$$

$$p(y=0|\mathbf{x})=\frac{1}{1+exp(\mathbf{w}\cdot \mathbf{x})}\text{\hspace{1em}(8)}$$

这就是 Logistic 回归模型。

1.2.1 模型参数估计

Logistic 回归模型学习是，对于给定的训练数据集 $T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中，$x_i\in {\mathbf{R}}^n,y_i\in \{0,1\}$ ，可以应用极大似然估计法（MLE）估计模型参数 $\mathbf{w}$ ，从而得到 Logistic 回归模型：

设：

$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)\text{\hspace{1em}(9)}$$

则似然函数为：

$$\prod _{j=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}\text{\hspace{1em}(10)}$$

对数似然函数为：

$$\begin{array}{rl}L(w)& =\sum _{i=1}^N\left[y_i\log \pi \left(x_i\right)+\left(1-y_i\right)\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x_i\right)\right]\end{array}\text{\hspace{1em}(11)}$$

对 $L(w)$ 求极大值，即得到 $w$ 的估计值 $\hat{w}$。

Logistic 回归学习通常采用的方法是梯度下降法及拟牛顿法。^[2]

2. Sklearn 实现

sklearn.linear_model.LogisticRegression

from sklearn.linear_model import LogisticRegression
LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None, l1_ratio=None)

控制 LogisticRegression 模型正则化程度的超参数不是 alpha （其他线性模型使用 alpha），而是它的逆反：C，C 的值越高，模型正则化程度越高。

我们使用鸢尾植物数据集来说明逻辑回归。这是一个非常著名的数据集，共有 150 朵鸢尾花，分别来自三个不同品种：Setosa 鸢尾花、Versicolor 鸢尾花和 Virginica 鸢尾花，数据里包含花的萼片以及花瓣的长度和宽度。

我们试试仅基于花瓣宽度这一个特征，创建一个 Logistic 回归分类器来检测 Virginica 鸢尾花。首先加载数据：

from sklearn import datasets
iris = datasets.load_iris()
list(iris.keys())

['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename']

X = iris["data"][:, 3:]  # petal width
y = (iris["target"] == 2).astype(np.int)  # 1 if Iris-Virginica, else 0

训练 Logistic 回归分类器：

from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver="liblinear", random_state=42)
log_reg.fit(X, y)

LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
                   intercept_scaling=1, l1_ratio=None, max_iter=100,
                   multi_class='warn', n_jobs=None, penalty='l2',
                   random_state=42, solver='liblinear', tol=0.0001, verbose=0,
                   warm_start=False)

我们来看看对于花瓣宽度在 0 到 3 厘米之间的鸢尾花，模型估算出的概率：

import matplotlib.pyplot as plt
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei'] 

X_new = np.linspace(0, 3, 1000).reshape(-1, 1)
y_proba = log_reg.predict_proba(X_new)

plt.plot(X_new, y_proba[:, 1], "g-", linewidth=2, label="Virginica 鸢尾花")
plt.plot(X_new, y_proba[:, 0], "b--", linewidth=2, label="非 Virginica 鸢尾花")

plt.xlabel('花瓣宽度（cm）' ,fontsize=18)
plt.ylabel('概率', fontsize=18)
plt.legend()

图2 鸢尾花与非鸢尾花的花瓣宽度决策边界<\center>

可以看到，对于花瓣宽度超过 2cm 的花，分类器可以很有信心地说它是一朵 Virginica 鸢尾花，对于花瓣宽度低于 1cm 的花。也可以大概率地说它不是一朵 Virginica 鸢尾花。

decision_boundary = X_new[y_proba[:, 1] >= 0.5][0]
decision_boundary

array([1.61561562])

对于花瓣宽度大约为 1.6cm 的花，其是 Virginica 鸢尾花的概率超过 50%，因此分类器认为它是一朵 Virginica 鸢尾花；对于花瓣宽度大约为 1.4cm 的花，其是 Virginica 鸢尾花的概率低于 50%，因此分类器认为它不是一朵 Virginica 鸢尾花。

log_reg.predict([[1.7], [1.5]])

array([1, 0])

---

还是同样的数据集，这次使用两个特征：花瓣宽度和花瓣长度。经过训练，虚线表示模型估算概率为 50% 的点，即模型的决策边界。需要注意这里是一个线性边界（它是使方程 ${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2=0$ 的点 $x$ 的集合）。每条平行线都分别代表一个模型输出的特定概率，从左下的 15% 到右上的 90%。根据这个模型，右上线之上的所有花都有超过 90% 的概率属于 Virginica 鸢尾花。^[3]

from sklearn.linear_model import LogisticRegression

X = iris["data"][:, (2, 3)]  # petal length, petal width
y = (iris["target"] == 2).astype(np.int)

log_reg = LogisticRegression(solver="liblinear", C=10**10, random_state=42)
log_reg.fit(X, y)

x0, x1 = np.meshgrid(
        np.linspace(2.9, 7, 500).reshape(-1, 1),
        np.linspace(0.8, 2.7, 200).reshape(-1, 1),
    )
X_new = np.c_[x0.ravel(), x1.ravel()]

y_proba = log_reg.predict_proba(X_new)

plt.figure(figsize=(10, 4))
plt.plot(X[y==0, 0], X[y==0, 1], "bs")
plt.plot(X[y==1, 0], X[y==1, 1], "g^")

zz = y_proba[:, 1].reshape(x0.shape)
contour = plt.contour(x0, x1, zz, cmap=plt.cm.brg)


left_right = np.array([2.9, 7])
boundary = -(log_reg.coef_[0][0] * left_right + log_reg.intercept_[0]) / log_reg.coef_[0][1]

plt.clabel(contour, inline=1, fontsize=12)
plt.plot(left_right, boundary, "k--", linewidth=3)
plt.text(3.5, 1.5, "Not Iris-Virginica", fontsize=14, color="b", ha="center")
plt.text(6.5, 2.3, "Iris-Virginica", fontsize=14, color="g", ha="center")
plt.xlabel("Petal length", fontsize=14)
plt.ylabel("Petal width", fontsize=14)
plt.axis([2.9, 7, 0.8, 2.7])
plt.show()

图3 线性决策边界

参考资料

[1] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 57-59.

[2] 李航. 统计学习方法[M]. 北京: 清华大学出版社, 2012: 78-79.

[3] Aurelien Geron, 王静源, 贾玮, 边蕤, 邱俊涛. 机器学习实战：基于 Scikit-Learn 和 TensorFlow[M]. 北京: 机械工业出版社, 2018: 129-131.