机器学习-Logistic Regression（李宏毅机器学习学习笔记）

    Logistic Regression 是一种线性回归模型，通过sigmoid函数，它的输出值只有0和1.我以李宏毅大师的讲解对Logistic Regreesion笔记总结和学习。

Three Steps

  Step 1：Function Set

        

逻辑回归主要使用sigmoid函数，将输入的值进行非线性转换（神经网络也是类似操作），将输出值映射到0-1，可以进行等效于概率。

下图为具体的函数形象解释

step2：确定参数的方法

确定logistic Regression 的参数就是最大化L（w,b）的值，使得在输入x的情况下，C1类别的概率达到最大值，如果C1类别的概率在训练集取得最大值，则说明w，b为最优解。

接下来对目标函数进行转换，转换方法如下：

求最大值的问题可以转换为求最小值的问题。

step3：求最优参数的具体方法

1.

2.

3.    逻辑回归与线性回归的对比

    同时对比了Cross Entropy 和Square Error的效果

从图中我们可以看出square Error存在梯度消失的问题，而Cross Entropy随着预测值和真实值大小变化而变化，可以更快的去拟合，达到最优解