[斯坦福大学2014机器学习教程笔记]第六章-决策界限(decision boundary)

    这一节主要介绍的是决策界限(decision boundary)的概念，这个概念可以帮组我们更好地理解逻辑回归的假设函数在计算什么。

    首先回忆一下上次写的公式。

     现在让我们进一步了解这个假设函数在什么时候会将y预测为1，什么时候会将y预测为0。并且更好地理解假设函数的形状，特别是当我们的数据有多个特征值时。具体地说，这个假设函数输出的是给定x和参数θ时，y=1的估计概率。

    所以，如果我们想预测y=1还是等于0。该假设函数输出y=1的概率大于等于0.5，此时预测的为y=1，小于0.5预测的就是y=0。（实际上，当输出概率为0.5时，可以预测为y=1，也可以预测为y=0）

    仔细观察sigmoid函数图像，就可以发现只要z ≥ 0，g(z)就大于等于0.5，因此在曲线图的右半边，g的取值都是大于等于0.5的。

    由于逻辑回归的假设函数h_θ(x)=g(θ^Tx)，所以只要θ^Tx ≥ 0，那么h_θ(x)就会大于等于0.5，此时假设函数将会预测为y=1。同样，我们考虑假设函数预测为y=0的情况。当h_θ(x) ＜ 0.5的时候，就会预测y=0。而只要θ^Tx ＜ 0，那么g(θ^Tx)就会小于0.5，即h_θ(x)就会小于0.5。

     对上述做个小结：

     1.我们预测y=0还是y=1取决于输出的概率值。（概率大于等于0.5预测y=1，小于0.5预测y=0）

     2.想要预测结果为 y=1，就要保证θ^Tx ≥ 于0；想要预测结果为 y=0，就要保证θ^Tx ＜ 0。

     接下来，假设我们有一个训练集。我们的假设函数是h_θ(x)=g(θ₀+θ₁x₁+θ₂x₂)，我们将在下一节讨论如何拟合此模型中的参数，此时假设我们已经拟合好了参数。在这里，我们选这里θ₀=-3，θ₁=1，θ₂=1。这意味着此时的参数向量θ=[-3,1,1]^T。接下来，尝试找出该假设函数何时将预测y=1，何时将预测y=0。

    根据之前小结的，y=1的概率大于等于0.5时，就预测y=1，小于0.5时就预测y=0。换句话说就是：想要预测结果为y=1，就要保证θ^Tx ≥ 0；想要预测结果为y=0，就要保证θ^Tx ＜ 0。而在这个例子中θ^Tx就是-3+x₁+x₂。所以，在这个例子中，只要 -3+x₁+x₂ ≥ 0，那么预测的就会是y=1，-3+x₁+x₂ ＜ 0，那么预测的就会是y=0。当然也可以将 -3+x₁+x₂ ≥ 0 改写为 x₁+x₂ ≥ 3。

     接下来我们可以在图像上观察这个式子。

    图上洋红色的直线为x₁+x₂ = 3 。该线上方的区域为预测y=1的区域，下方区域为预测y=0的区域。这条线被称为决策边界。具体地说，x₁+x₂ = 3这条直线对应的一系列的点对应的是h_θ(x)=0.5的点。决策边界将整个平面分成了两个部分。一部分区域预测y=1，另一部分预测y=0。

    决策边界是假设函数的一个属性，它包括参数θ₀、θ₁和θ₂。在上图中，是画了训练的数据集的。需要明确的是：即使没有画出数据集，只要参数给定，这条决策边界以及两部分区域都是确定的。它们都是假设函数的属性，取决于参数，而不是取决于数据集。

    接下来，我们看一个更复杂的例子。在图中x表示的是正样本，圆圈表示的是负样本。

    现在的问题是：当给定一个这样的数据集之后，我们要如何使用逻辑回归来拟合这些数据。

    之前，当我们讲解多项式回归或线性回归时，我们谈到了可以在特征中添加额外的高阶多项式项。同样的，我们也可以对逻辑回归使用同样的方法。具体地说，假设现在的假设函数是h_θ(x)=g(θ₀+θ₁x₁+θ₂x₂+θ₃x₁²+θ₄x₂²）。现在添加了两个额外的特征x₁²和₂²，所以现在有五个参数，从θ₀一直到θ₄。现在假设θ₀=-1，θ₁=0，θ₂=0，θ₃=1，θ₄=1。这意味着此时的参数向量θ=[-1,0,0,1,1]^T。根据之前的讨论，这意味着当-1+x₁²+₂² ≥ 0时，将预测y=1，当-1+x₁²+₂²  < 0时，将预测y=0。同样的，-1+x₁²+₂² ≥ 0 可以写成 x₁²+₂² ≥ 1。此时的决策边界就为x₁²+₂² = 1。

    决策边界如图所示。此时圈外的区域为预测y=1的区域，圈内的区域为预测y=0的区域。

    通过在特征中增加这些复杂的多项式，可以得到更复杂的决策边界。

    再次强调：

    决策边界不是训练集的属性，是假设本身和其参数的属性。只要给定了参数向量θ，决策边界就可以确定。我们不是用训练集来确定决策边界，而是用训练集来拟合参数。

    当我们有更高阶多项式，我们得到的决策边界也是更复杂的。逻辑回归可以用于寻找决策边界。