传统机器学习-Logistic回归(吴恩达机器学习笔记)

逻辑回归：我们期望得到值域在[0,1]之间的预测值。逻辑回归天然的是用来处理二分类的情况的，至于多分类的情况会要稍微处理一下。在逻辑回归中，我们通常将正例的标签标为1，负例的标签标为0。逻辑回归的输出值（即预测值）,表示的是预测为正例（即标签为1）的概率。

模型定义

，其中g(z)又被称为sigmoid函数。

对该模型的解释，预测的是对每一个样本得到标签是1(即正例)的概率。

决策边界：是假设函数及其参数的属性，不是训练集的属性。用训练集拟合参数，参数一旦确定，决策边界即确定。

模型定义有了之后，我们要做的就是通过训练集来得到一组合适的参数。

损失函数

若在Logistic回归中采用线性回归的损失函数（平方和函数）作为损失函数，由于sigmoid函数是一个复杂的非线性函数，则会导致损失函数非凸，会产生很多局部最小值，这会使梯度下降法不易找到全局最小值。我们期待选择一个凸函数作为损失函数。同时我们期待标签与预测值相差较大时损失函数较大，当标签与预测值相近时，损失函数较小，即我们期待：

Logistic回归的损失函数

，其中

对该损失函数的直观解释如下，其中y是真实标签，是预测值。

• 当样本是正例，即y=1时，此时代价函数为
  • 若预测值接近1，则
  • 若预测值接近0，则
• 当样本时负例，即y=0时，，此时代价函数为
  • 若预测值接近1，则
  • 若预测值接近0，则

我们之前的代价函数是分正例和负例两种情况给出的，由于数据集中y非0即1，我们可以把代价函数直接用一个简化版的表达式表示，这样也方便后续实施梯度下降法，Logistic函数中的这个代价函数的理论依据是极大似然法，且这个代价函数是凸函数，可以放心使用。此时可以看出若y=1是下面表达式的第一部分，y=0是下面表达式的第二部分。

我们用极大似然估计来推导一下损失函数

1、由于模型定义中，表示给定参数和特征的情况下，预测值为1（即正例）的概率，固有：

       

2、将上面两个公式写紧凑成为一个公式

       

3、求其极大似然函数，需要寻找一组参数，使得给定样本的观测值的概率最大

         

4、求其对数似然函数

          

梯度下降法求解参数

 

目标：

梯度下降法的执行过程

Gradient descent

   Repeat{

   

   }（同时更新 ）

我们会发现Logistic回归跟线性回归中使用梯度下降算法得到的参数迭代方程形式上是一样的。但是假设函数却不一样！

线性回归：，logistic回归。

多元分类：一对多

我们可以将一个多分类问题，转换成多个独立的二分类问题，则对于每个独立的二分类问题我们均可以使用逻辑回归。我们为每一个类别i都训练一个逻辑回归分类器，用来预测y=i的概率，在面对一个新样本时，我们取作为最后的输出。

例如：可以将如下的三分类问题，看成三个独立的二分类问题，从而拟合出三个分类器，来尝试估计给定和时的概率。