分类问题与logistic回归 以及其参数求解——机器学习

一、分类问题和logistic函数的提出与其形式

针对二分问题，即y为离散且y∈{0,1}，线性回归的拟合效果很差。比如一组数据中如果加入了一个特征（横坐标）较大的数据，那么线性回归曲线会出现明显的斜率变化与偏移，拟合效果大打折扣。

于是便提出了logistic函数（又称sigmoid函数），其具体形式如下：

其大致图像如下：

logistic函数的函数取值范围为(0,1)，其意义为：当输入数据的特征值为z时，分为当前类（如：给定二分类A与B，即分为A/B类）的概率为g(z)。

以0.5为分界，若g(z)>0.5，则分为此类；否则，分为另一类。

 

二、logistic函数的性质

对g(z)求导可得以下性质：

 

三、参数θ的拟合

对于线性回归，最小二乘法则等价于最大似然准则（在高斯分布的假设下），在此不做过多叙述。那么如何估计logistic回归的参数呢？思路仍是通过最大似然准则求解。

根据给出的logistic函数，即：

由于y只取0和1，那么上式可写作如下函数形式：

那么此函数p就表示输入为x时，取值为y的概率。那么如果将训练样本x0输入，结果仍未监督数据y0的概率即为，那么m个样本均符合监督数据的概率，我们称其为似然函数，即为

对其取对数得到

那么我们的目标就是maximize:l(θ)

我们同样使用数值方法，即在此使用梯度递增法（gradient ascent），其原理与梯度下降法相同，第一步也是求出对l(θ)的偏导数，如下所示

由此，我们给出随机梯度递增法如下

至此问题解决