回归算法

有监督VS无监督：标签(label)

有标签值：有监督

无标签值：无监督  

回归：经分析预测出的具体值。

分类：得出类别的问题0/1；是/否；

线性回归：最知名的建模方法之一，用权值决定下子参数，即会得到一个简单的线性方程组。

y真实值，a预测值

误差b独立并且具有相同的分布（误差均在可控方位内）通常认为服从均值为0方差为的高斯分布。

通俗理解x预测值，y真实值之差越越小越好，则误差越小。

但需要刚霍数学表达式来推啊，就不退了，有兴趣可查阅。

解析值：两边求导即可。

Logistis回归，逻辑回归。分类的算法：0/1；二分类问题。

                                                  SIgmoid函数

Sigmoid函数y值0-1；x值负无穷到正无穷

通过函数S的作用，我们可以将输出的值限制在区间[0， 1]上，p(x)则可以用来表示概率p(y=1|x)，即当一个x发生时，y被分到1那一组的概率。可是，等等，我们上面说y只有两种取值，但是这里却出现了一个区间[0, 1]。其实在真实情况下，我们最终得到的y的值是在[0, 1]这个区间上的一个数，然后我们可以选择一个阈值，通常是0.5，当y>0.5时，就将这个x归到1这一类，如果y<0.5就将x归到0这一类。但是阈值是可以调整的，比如说一个比较保守的人，可能将阈值设为0.9，也就是说有超过90%的把握，才相信这个x属于1这一类。了解一个算法，最好的办法就是自己从头实现一次。下面是逻辑回归的具体实现。