【机器学习】Classification using Logistic Regression

导入所需的库

import numpy as np
%matplotlib widget
import matplotlib.pyplot as plt
from lab_utils_common import dlc, plot_data, draw_vthresh, sigmoid
from plt_one_addpt_onclick import plt_one_addpt_onclick
plt.style.use('./deeplearning.mplstyle')

1. 分类问题

分类问题的例子包括：将电子邮件识别为垃圾邮件或非垃圾邮件，或者确定肿瘤是恶性还是良性。这些都是二分类的例子，其中有两种可能的结果。结果可以用 ‘positive’/‘negative’ 成对描述，如’yes’/'no, ‘true’/‘false’ 或者 ‘1’/‘0’.

分类数据集的绘图通常使用符号来表示示例的结果。在下图中，“X”表示positive值，而“O”表示negative值。

x_train = np.array([0., 1, 2, 3, 4, 5])
y_train = np.array([0,  0, 0, 1, 1, 1])
X_train2 = np.array([[0.5, 1.5], [1,1], [1.5, 0.5], [3, 0.5], [2, 2], [1, 2.5]])
y_train2 = np.array([0, 0, 0, 1, 1, 1])

pos = y_train == 1
neg = y_train == 0

fig,ax = plt.subplots(1,2,figsize=(8,3))
#plot 1, single variable
ax[0].scatter(x_train[pos], y_train[pos], marker='x', s=80, c = 'red', label="y=1")
ax[0].scatter(x_train[neg], y_train[neg], marker='o', s=100, label="y=0", facecolors='none', edgecolors=dlc["dlblue"],lw=3)

ax[0].set_ylim(-0.08,1.1)
ax[0].set_ylabel('y', fontsize=12)
ax[0].set_xlabel('x', fontsize=12)
ax[0].set_title('one variable plot')
ax[0].legend()

#plot 2, two variables
plot_data(X_train2, y_train2, ax[1])
ax[1].axis([0, 4, 0, 4])
ax[1].set_ylabel('$x_1$', fontsize=12)
ax[1].set_xlabel('$x_0$', fontsize=12)
ax[1].set_title('two variable plot')
ax[1].legend()
plt.tight_layout()
plt.show()

由上图可以看到，在单变量图中，positive显示为红色，y=1；negative显示为蓝色，y=0。在线性回归中，y的值不局限于两个值，可以是任意值。在多变量图中，同样地，positive显示为红色，negative显示为蓝色。在具有多个变量的线性回归的情况下，y不会被限制为两个值，类似的图将是三维的。

2. 线性回归方法

这里，我们使用前面介绍的线性回归模型根据肿瘤大小预测肿瘤是良性还是恶性。

w_in = np.zeros((1))
b_in = 0
plt.close('all') 
addpt = plt_one_addpt_onclick( x_train,y_train, w_in, b_in, logistic=False)

其中，阈值为0.5

现在，在大肿瘤大小范围（接近10）的最右侧添加更多的“恶性”数据点，并重新运行线性回归。

该模型预测了更大的肿瘤，但x=3的数据点被错误地预测了。

上面的例子表明，线性模型不足以对分类数据进行建模。

3. 逻辑函数（sigmod）

sigmod函数公式表示为：
$$g(z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(1)}$$
其中，$z$ 是sigmod函数的输入，一个线性回归模型的输出。在单变量线性回归中，它是标量；在多变量线性回归中，它可能是包含$m$个值的向量。

sigmoid函数的实现如下：

def sigmoid(z):
    """
    Compute the sigmoid of z

    Args:
        z (ndarray): A scalar, numpy array of any size.

    Returns:
        g (ndarray): sigmoid(z), with the same shape as z
         
    """

    g = 1/(1+np.exp(-z))
   
    return g

对于输入变量$z$，输出结果为：

# Generate an array of evenly spaced values between -10 and 10
z_tmp = np.arange(-10,11)

# Use the function implemented above to get the sigmoid values
y = sigmoid(z_tmp)

# Code for pretty printing the two arrays next to each other
np.set_printoptions(precision=3) 
print("Input (z), Output (sigmoid(z))")
print(np.c_[z_tmp, y])

左边是输入z，右边是输出sigmod(z).输入值的范围从-10到10，输出值的范围从0到1.

对结果进行可视化：

# Plot z vs sigmoid(z)
fig,ax = plt.subplots(1,1,figsize=(5,3))
ax.plot(z_tmp, y, c="b")

ax.set_title("Sigmoid function")
ax.set_ylabel('sigmoid(z)')
ax.set_xlabel('z')
draw_vthresh(ax,0)

从图中可以看出，sigmod函数在z取小负数时趋近于0，在z取大正数时趋近于1.

4.逻辑回归

逻辑回归模型将sigmod函数应用到线性回归模型中，如下所示：
$$f_{\mathbf{w},b}({\mathbf{x}}^{(i)})=g(\mathbf{w}\cdot {\mathbf{x}}^{(i)}+b)\text{\hspace{1em}(2)}$$
其中，
$$g(z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(3)}$$

将逻辑回归应用到肿瘤分类的例子中。

首先，加载样例和初始化参数。

x_train = np.array([0., 1, 2, 3, 4, 5])
y_train = np.array([0,  0, 0, 1, 1, 1])

w_in = np.zeros((1))
b_in = 0

plt.close('all') 
addpt = plt_one_addpt_onclick( x_train,y_train, w_in, b_in, logistic=True)

其中，橘黄色线是 ‘$z$’ 或者 $\mathbf{w}\cdot {\mathbf{x}}^{(i)}+b$ ，阈值为0.5

现在，在大肿瘤大小范围（接近10）中添加更多的数据点，并重新运行。

与线性回归模型不同，该模型继续做出正确的预测。

5. 决策边界

5.1 数据集

X = np.array([[0.5, 1.5], [1,1], [1.5, 0.5], [3, 0.5], [2, 2], [1, 2.5]])
y = np.array([0, 0, 0, 1, 1, 1]).reshape(-1,1) 

5.2 数据绘图

fig,ax = plt.subplots(1,1,figsize=(4,4))
plot_data(X, y, ax)

ax.axis([0, 4, 0, 3.5])
ax.set_ylabel('$x_1$')
ax.set_xlabel('$x_0$')
plt.show()

我们要根据数据集训练一个逻辑回归模型，其公式为：$f(x)=g(w_0{x}_0+w_1{x}_1+b)$，其中 $g(z)=\frac{1}{1+e^{-z}}$, 训练好模型得到参数$b=-3,w_0=1,w_1=1$. 即$f(x)=g(x_0+x_1-3)$。下面通过绘制决策边界来了解这个经过训练的模型在预测什么。

5.3 逻辑回归与决策边界的刷新

• 逻辑回归模型表示为：
  $$f_{\mathbf{w},b}({\mathbf{x}}^{(i)})=g(\mathbf{w}\cdot {\mathbf{x}}^{(i)}+b)\text{\hspace{1em}(1)}$$

  其中， $g(z)$ 是 sigmoid 函数，它可以将所有值映射到0到1之间:
  $$g(z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(2)}$$
  $\mathbf{w}\cdot \mathbf{x}$ 是向量点积运算:
  $$\mathbf{w}\cdot \mathbf{x}=w_0{x}_0+w_1{x}_1$$

• 我们把模型的输出($f_{\mathbf{w},b}(x)$) 解释为给定 $x$ 并由$w$和$b$参数化的$y=1$ 的概率.

• 这样, 为了从逻辑回归模型中获得最终预测 ($y=0$ or $y=1$) ， 使用以下启发式：

  if $f_{\mathbf{w},b}(x)>=0.5$, predict $y=1$

  if $f_{\mathbf{w},b}(x)<0.5$, predict $y=0$

• 绘制sigmoid 函数来看看哪里 $g(z)>=0.5$

# Plot sigmoid(z) over a range of values from -10 to 10
z = np.arange(-10,11)

fig,ax = plt.subplots(1,1,figsize=(5,3))
# Plot z vs sigmoid(z)
ax.plot(z, sigmoid(z), c="b")

ax.set_title("Sigmoid function")
ax.set_ylabel('sigmoid(z)')
ax.set_xlabel('z')
draw_vthresh(ax,0)

• 如图所示，当 $z>=0$ 时, $g(z)>=0.5$

• 对于逻辑回归模型, $z=\mathbf{w}\cdot \mathbf{x}+b$. 因此,

  if $\mathbf{w}\cdot \mathbf{x}+b>=0$, 模型预测 $y=1$

  if $\mathbf{w}\cdot \mathbf{x}+b<0$, 模型预测 $y=0$

5.4 绘制决策边界

现在，我们回到例子中理解逻辑回归模型是如何预测的.

• 我们的逻辑回归模型为：
  $f(x)=g(-3+x_0+x_1)$
• 从上面所讲，可以知道 if $-3+x_0+x_1>=0$，模型预测 $y=1$

通过绘图来可视化。从绘制$-3+x_0+x_1=0$开始，这相当于$x_1=3-x_0$。

# Choose values between 0 and 6
x0 = np.arange(0,6)

x1 = 3 - x0
fig,ax = plt.subplots(1,1,figsize=(5,4))
# Plot the decision boundary
ax.plot(x0,x1, c="b")
ax.axis([0, 4, 0, 3.5])

# Fill the region below the line
ax.fill_between(x0,x1, alpha=0.2)

# Plot the original data
plot_data(X,y,ax)
ax.set_ylabel(r'$x_1$')
ax.set_xlabel(r'$x_0$')
plt.show()

• 在上图中，蓝线表示$x_0+x_1-3=0$，它应该在3处与$x_1$轴相交（如果我们设置$x_1$=3，$x_0$=0），并且在3处相交$x_0$轴（如果我们将$x_1$设置为0，$x_0$=3）。

• 阴影区域表示$-3+x_0+x_1<0$。该线上方的区域为$-3+x_0+x_1>0$。

• 阴影区域（线下）中的任何点都被分类为$y=0$。该线上或上方的任何点都被分类为$y=1$。这条线被称为“决策边界”。

通过使用高阶多项式项（例如：$f(x)=g(x_0^2+x_1-1)$），我们可以得出更复杂的非线性边界。