2.2 Logistic回归

Logistic回归

Logistic回归是一个学习算法，用在监督学习中，输出y标签是0或1时，二分分类问题。

例如，图片识别是否为猫的例子中。
给定特征向量x，需要一个算法，可以给出一个预测值 ̂y 。这个预测值可以表示当 y为1时的概率。也就是说，这个预测值需要能表示这是一张猫图的概率。

x 是一个n x维向量；Logistic回归的参数是w，同样也是一个n x维向量，b是一个实数。

综上,已知输入x和参数w和b，如何计算预测值 ̂y的值呢？
输入x 的线性函数 ==>

这就是一个简单的线性回归算法。但这不是一个非常好的二分分类算法。因为计算的是y = 1的预测值，所以 ̂y应该介于0到1之间。但实际上这是很难实现的，因为w*x+b可能是一个比1大很多的值，或是负数。这样的概率是没有意义的。

所以在Logistics回归中，我们的输出变成 ==>
̂y = sigmoid（w*x+b），将sigmoid函数作用到这个量上。函数图像为 ==>

z = wx + b

sigmoid(z)=1/(1+e^(-z) )
如果z非常大，则e^(-z)就很接近于0。 ==>
sigmoid(z) ≈ 1/（1+某个很接近于0的值） ==>
sigmoid（z）的值接近于1。

如果z非常小，或是非常大的负数 ==>
sigmoid(z) 就变成了 1/(1+e^(-z) ) ==>

sigmoid(z) ≈ 1/（1+某个很大的值）==>
sigmoid（z）的值接近于0。

综上，当实现Logistic回归时，主要做的是学习参数w和b，这样 ̂y就变成了一个好的预测值。