机器学习（二）逻辑回归

逻辑回归是监督学习算法，是一个分类算法，解决分类问题。

一、二元分类问题：

如果我们拿线性回归算法来解决分类问题，取值就是连续数值，而不是只有0，1的离散值。

依据线性回归算法，我们将线性函数当作自变量传入sigmod函数：

二、边界判定：

举个例子：

三、代价函数：

对逻辑回归的代价函数求导得到：

 

求导过程如下图所示：

注意sigmod函数求导为：

故代价函数求导结果为：

在这里我们惊奇的发现，逻辑回归和线性回归的第三步骤的推导结果是一致的。

但这里的f(x)函数不是线性函数，而是sigmod函数。

 

 

四、多类别分类：一对多 （one-vs-all，也叫“一对其余”）

有时候会遇到不止2类的分类问题，即多分类问题，这个时候可以将问题化简为两两配对的二分类问题：

如：

五、正则化 （Regularized）

 

求导过程参考自：https://blog.csdn.net/dukuku5038/article/details/82585523