斯坦福吴恩达-cousera课程笔记-Logistic回归

csdn博客第一篇，码的辛苦，希望对大家有所帮助

 

Logistic回归是应用广泛的分类算法，此文论述二分类问题，对于多分类可以通过一对多技巧进行多次二分类计算，

 也可以重新构建分类模型。

 

1、使用logistic回归的动机：

1）避免特殊样本的干扰

 

通过下属二副图，可以清楚的看到，由于右端特殊样本的存在，导致预测直线产生较大偏移，而可能与实际不符。

 

 

2）使预测函数的值落在合理的区间

使用线性回归的假设，其假设函数的输出值并不在[0，1]上，而logistic回归能更合理的描述对每个样本属于各个类别的可能性。

 

2.假设函数的表示

线性回归的假设为：

logistic回归的假设为：

其中g(z)为sigmoid函数，预测函数度量了对于样本，其属于正样本的概率。

sigmoid函数有如下性质：

如果以sigmoid函数的0.5为阈值，则当

样本的预测值为正样本，否则为负样本。此处的x可以理解为特征，比如多项式特征，或者有实际意义的特征。

 

同时所谓decision boundary由训练样本拟合到的参数决定。

 

3.优化函数

线性回归的优化目标函数：

但对于logisti回归而言，不能采用此目标函数来得到参数。因为不再是线性的凸函数，如果采用优化算法

求解参数时，将得不到全局极小值。为此，logistic回归的优化目标函数为：

 

 

首先，这是一个凸函数，代入的定义式，得对于y = 1的代价函数：

根据最优化理论，这是个凸函数。

 

其次，对这个代价函数的直观理解为：当y = 1时，越接近1，其代价越小，越接近0，代价越大。

 

代价函数可以写成如下的一般形式：

 

 

4.参数求解算法-梯度下降法

模型的代价函数或优化目标函数为：

梯度下降算法过程：

 

 参数的迭代实质以下式进行：

 

 

这与线性回归的区别仅仅是假设函数的不同，体现了高度的一致性。

 

5.regularized logistic regression

当特征数量过多，假设函数过于复杂时，如果样本数又不足够，则很容易产生过拟合问题。

改进的方法是对于代价函数添加下式：

其中为每个特征对应的参数。

这种类似罚数法的技巧，可以减小假设函数的复杂性，参数迭代过程如下：

 

这里将常数特征区分开来，可以认为其对假设函数的复杂度没有影响，因为它只是对假设函数进行平移而已。

 

这里的选取至关重要，当过大，会导致欠拟合，过小，又起不到regularization的作用。