python手写逻辑回归算法【机器学习】

python手写逻辑回归算法

算法介绍

在生活中，我们常常能听见这样的说法，“您的这辆车已经使用了5年了，有80%的概率会出一些小的故障。”

我们会不会觉得很奇怪，一件事情会发生就是会发生，不会发生就是不会发生，这80%是啥意思？于是我们点点头。虽然我们不是很理解这个数字的含义，但是我们知道这个车很有可能会出故障。

那这个概率究竟是怎么来的呢？其实这个概率是需要历史数据的，对于人来说就是经验。这个历史数据其实是一个分类的数据，即在自变量是多少的时候，因变量就会怎么样（即产生一个固定的状态的y）。在现实中，当我们这样的数据多了的时候，我们就能发现一些规律，（至于为什么会这个样子，其实我们也不会特别的明白）比如我们发现车在使用了10年的时候，很可能刹车片会出问题，如果现在有一辆使用了十年的车，即使它的刹车片没有出问题，但是我们也会认为很容易就会出现问题。但是这个很容易其实是一个很模糊的事情，为什么说它模糊呢？因为每个人对于“很”这个副词的理解都是不一样的。于是聪明的人类试图用数据的方式来告诉人们一个概率。我们应该怎么做？

人类们拿到的数据是一个分类数据，中间是不连续的，但是他们突发奇想，要不把这个数据连续起来预测一下？这样，概率和数字不久有了吗？就这样，他们高兴的把中间的状态也赋予了值和含义。但是存在的一个问题是，我们希望得到的概率是一个0-1之间的数字啊！随意这样做肯定是不可以的。于是乎，他们终于从数学的海洋里面，找出了最贴近现实的一个函数——sigmoid函数！这个函数的值域在0-1之间，而且对于拟合这种问题来说，函数的性质合适的可怕。函数在两头的极端的值的时候，都会偏向于0和1，这说明了，如果一个数据很极端的话，它属于某个类的可能性会非常的大，而一个数据如果很中庸的话，它很模糊，概率会处在50%左右。sigmoid函数完完全全说明了这个道理。

于是，逻辑回归就这样产生了。把x带入到sigmoid函数里面，求得一个概率，用这样的方式来对现实进行拟合，如果可以拟合现实，就可以对现实进行预测。因此我们说，sigmoid函数其实本质是在做回归，但是结果是在做分类。怎么分类呢？以0.5为界限吗。你倾向于谁，就把你判断成为谁。

但是如何判断这个函数的拟合的好坏呢？

从愿景的角度来说，我们希望自己的算法能进行判断的准确，因此对于不同的分类的Y,衡量估计的值的参照是不同的。于是我们构造了一个函数，可以用来表示估计的准确的概率（注意这个概率和上面我们估计的概率不是一个概率，这里的概率是为了衡量我们估计的准确而重新构建的指标）。我们希望自己准确的估计的概率是最大的，于是把这些概率都乘起来，然后希望求最大值就好了。以上，就是逻辑回归的整体的思路。需要明白的其实就是两个问题：1）s