机器学习启蒙－ 逻辑回归

最近在网上找到一本亚马逊的技术大佬写的机器学习入门书籍，总共100多页，刚好最近在学习机器学习相关的知识，就顺便翻译下，就当学习笔记了。
原书下载路径如下：
ml_primer

翻译目录（会不定时更新）
机器学习启蒙1.1－线性回归
机器学习启蒙1.2－逻辑回归

第二节 逻辑回归简介

在本节中，我们将通过探索我们第一个分类算法来继续学习监督学习。现实世界中，从图像标记到垃圾邮件检测，再到预测明天是否会晴天，涉及分类的绝大部分问题被解决，所以在我们的人工智能研究中，我们处于一个激动人心的里程碑里。
具有讽刺意味的是，我们将研究的第一个分类算法称为逻辑回归。 暂且不考虑名称混淆，我们将研究逻辑回归的形式用于二分分类任务，其中仅输出两个可能的标签。

模型定义

为了更好的学习逻辑回归，让我们从上节课汽车数据的修改版本开始。
我们将建立一个系统，该系统通过汽车的一系列特征数据，确定汽车的价格是昂贵还是便宜，而不是构建一个可以预测汽车价格的系统。 特别是，我们将从汽车的数据集中提取一些不同的特征，例如：
1.后备箱的大小；
2.运行的里程；
3.汽车制造商

我们将这些特征称为X1，X2和X3。 我们将这些特征合并为一个向量变量X =（X1，X 2，X 3）。 这些特征将被输入到数学函数F（X）中，以得出汽车是否昂贵的可能性。
换句话说，我们将计算F（X）（函数F目前尚未指定），它给我们提供介于0和1之间的概率。然后，我们将说，如果我们的概率大于或等于0.5， 我们将我们的预测标签将会是昂贵，否则会是便宜。 这用数学方式可以表示为：

// 伪代码
Y(预测)={
       expensive(昂贵)   if F(X) ≥ 0.5
       cheap(便宜)       if F(X) < 0.5
}

请注意，我们可以交换标签，认为大于0.5的概率代表的是便宜，这不会对预测结果产生任何影响。 唯一重要的是选择标签方案后，前后要保持一致！
那么那个F（X）函数到底发生了什么？ 逻辑回归模型通过非常特殊的数学公式描述了我们的输入汽车特征与输出概率之间的关系。 给定我们的输入特征X1，X2和X3，公式如下：

公式

在这里，我们的学习模型权重为A1，A2和A3。 好的，这给了我们数学上的形式，但是让我们尝试获得一些关于此函数的视觉直观表达。这个函数究竟是什么样子的？
事实证明，该函数的输入（称为Sigmoid）具有非常有趣的形式，如下图所示。

Sigmoid函数

注意logistic回归函数的数学形式是如何有一种拉长的S形的。当输入为0时，返回的概率正好为0.5，而随着我们的输入变大，概率稳定在1。 随着输入变得越来越小，它也稳定在0。
logistic回归也很有趣，因为我们利用输入的特征，通过权重的线性组合（即A1·X1+A2·X2+A3·X3）对其进行变换，然后通过非线性函数对其进行运算。

训练模型

我们如何训练逻辑回归模型的权重？ 假设我们有一个n个汽车的数据集，它们带有相关的真实标签：[（X1，Y1），（X2，Y2），...，（Xn，Yn）]。 我们不会深入探讨数学细节，但事实证明，我们可以为数据集的总概率编写一个表达式，如下所示：

表达式

就我们的目的而言，请理解我们的目的将是使这种可能性最大化。 我们可以通过取基于权重的导数，并将导数设置为0来完成。然后，我们可以通过计算出的梯度来进行梯度下降，以获得最佳权重。 这类似于线性回归部分中，用于数字优化线性回归模型的过程。

最后的想法

对于给定的一组输入，逻辑回归还可以应用于不仅仅是二分类输出的问题。 在这种情况下，该模型称为多项式逻辑回归。
在本节中，我们限制自己为二分类输出，因为它只是一个自然的起点。 也就是说，对于深度学习中使用的更复杂的模型，多项式逻辑回归尤其重要。
Logistic回归何时有用？ 在实践中，logistic回归是一种非常好的现成算法，当你在进行任何类型的分类时，都可以从它开始。
逻辑回归有一个相当直接的描述，由于它有很好的导数，所以可以很快地通过梯度下降等技术训练，它在实践中也可以很好地工作。许多二分类问题的生物统计应用中经常使用它。