Logistics回归算法个人总结

Logistics回归定义

说是回归，但其本质上还是属于分类算法。利用Logistics回归进行分类的主要思想是：根据现有数据对分类边界建立回归方程，以此进行分类。

基于Logistics回归和Sigmoid函数的分类

因为要分类，于是希望有这样一个函数，它在接受所有的输入之后，可以返回该样本的类别。例如，在两种类别的情况下，函数希望输出0或1。在数学上恰好有这样一个函数具有该性质，该函数被称为Sigmoid函数。函数的具体计算公式如下：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
当输入为0使，函数值为0.5，随着因变量的增大，函数不断趋向于1；随着因变量的减小，函数逐渐趋向于0。当横坐标足够大的时候，sigmoid函数更像是一个跳跃函数。

因此，为了实现该分类器，我们可以在每一个特征上都乘以一个回归系数，然后将所有结果相加，将这个总和代入sigmoid函数中，进而得到一个介于01之间的一个值。任何大于0.5的值被划分到1类中，小于0.5的值划分到0类，这样便实现了分类功能。因此，Logistics回归也可以看作是一种概率估计。
接下来的问题就变成了如何去寻找这个回归系数

基于最优化方法的最佳回归系数确定

sigmoid函数的输入记为$z$，由下面的公式得出
$$z=w_0{x}_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n$$
其中$x_i$表示样本第i个特征，$w_i$表示特征i所对应的系数。
如果采用向量的写法，上述公式可以写成$z=w^{T}X$，它表示两个向量对应元素乘积再求和得到$z$值。其中向量$x$是分类器输入的数据，向量$w$是我们要求的回归系数向量。

$w$的计算方法

那么如何计算$w$呢？
为了方便书写，我们令：
$$h_w(x)=\sigma (w^{T}X)=\frac{1}{1+e^{-z}}$$
根据sigmoid函数的特性，我们设：
$$\begin{array}{c}P(y=1|x,w)=h_w(x)\\ P(y=0|x,w)=1-h_w(x)\end{array}$$
因为$h(x)$介于01之间，我们可以用它来表示结果是0或1的概率，上面两个式子可以合并，得到：
$$P(y|x,w)=(h_w(x){)}^y(1-h_w(x){)}^{1-y}$$
其中$y=\{0,1\}$。
有了概率了，就要考虑最大似然了。假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积，我们定义为$L(w)$：
$$L(w)=\prod _{i=1}^n(h_w(x^{(i)}){)}^{y^{(i)}}(1-h_w(x^{(i)}){)}^{1-y^{(i)}}$$
其中$x^{(i)}$表示第i个样本，$y^{(i)}$表示第i个样本所属的类别，n表示样本个数。
为了方便运算，我们取自然对数：
$$l(w)=\ln (L(w))=\sum _{i=1}^n[y^{(i)}\ln (h_w(x^{(i)}))+(1-y^{(i)})\ln (1-h_w(x^i))]$$
这时，目标就变成了求$l(w)$的最大值。

梯度上升法

我们要求一个函数的最大值，其中一个办法就是从函数的某一点开始，沿着该函数梯度方向前进。由梯度定义可知，梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向。
梯度上升法其实类似于“爬山”的过程，我们想到达这座山的最高点，每次前进一小步，每到一个点的时候，都希望能找到最佳的移动方向（即上面所计算的梯度）。我们令梯度记为$▽$，则函数$f(x,y)$的梯度表示为：
$$▽f(x,y)=\left[\begin{array}{c}\frac{\partial f(x,y)}{\partial x}\\ \\ \frac{\partial f(x,y)}{\partial y}\end{array}\right]$$

其中，函数$f(x,y)$必须在要计算的点上有定义且可微。
根据该算法，函数中某一点的下一步一定是沿着该点函数增长最快的方向移动，这里只强调了方向，没有说距离。下面我们把该距离称为步长，记作$\alpha$。意味着我们可以通过$\alpha$来控制每一步走的距离，不要走太快，步长太大会错过了最高点。同时也要保证不要走的太慢，太小的话在有限步内到达不了最值点。所以$\alpha$的选择在该算法中往往是很重要的。梯度上升算法的迭代公式如下：
$$x_{i+1}=x_i+\alpha \ast \frac{\partial f(x)}{\partial x}$$
该公式一直被迭代执行，直到达到迭代次数或达到某个结束条件后停止。根据上面的推导，$f(x)$用$l(w)$代替，下面计算$l(w)$对$w_j$求偏导：
$$\frac{\partial l(w)}{\partial w_j}=\sum _{i=1}^n{y}^{(i)}\frac{1}{h_w(x)}\frac{\partial h_w(x^{(i)})}{\partial w_j}-(1-y^{(i)})\frac{1}{1-h_w(x)}\frac{\partial h_w(x^{(i)})}{\partial w_j}$$
其中：
$$\begin{array}{c}{\sigma }^{{}^{\prime }}(z)=\sigma (z)(1-\sigma (z))\\ \\ \frac{\partial w^{T}X}{\partial w_j}=\frac{\partial (w_0{x}_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n)}{\partial w_j}=x_j\\ \\ h_w(x)=\sigma (w^{T}X)\end{array}$$
因此：
$$\frac{\partial h_w(x^{(i)})}{\partial w_j}=h_w(x^{(i)})(1-h_w(x^{(i)}))x_j$$
代入上式，化简得：
$$\frac{\partial l(w)}{\partial w}=\sum _{i=1}^n(y^{(i)}-h_w(x^{(i)}))x_j^{(i)}$$
综上，对于本内容来说，梯度算法的迭代公式如下：
$$w:=w+\alpha \ast (y^{(i)}-h_w(x^{(i)}))x_j^{(i)}$$

实例

下面举一个例子来说明：
如图所示是两类数据，不同的颜色分别代表不同的类别，下面使用梯度上升法找到Logistic回归分类器在此数据集上的最佳回归函数。

数据导入

数据格式为文本形式，每行数据代表一个样本。每行前两个表示该样本的两个特征，第三个数据表示样本类别，为了方便运算，我们引入一个新特征，它是常量且为1。代码实现如下图：

def create_data():
    dataM=[]
    classM=[]
    with open('testSet.txt') as f:
        for l in f.readlines():
            lenarr=(l.strip().split())
            dataM.append([1.0,float(lenarr[0]),float(lenarr[1])])
            classM.append(int(lenarr[2]))
    return dataM,classM

数据处理

接下来是sigmoid函数，因为我们会用到向量的运算，所有引入numpy包。代码如下：

def sigmoid(x):
    return 1.0/(1+np.exp(-x))	#涉及向量运算，所以使用np包里面的函数

最后是分类算法，通过我们前面的推导，我们得到如下代码：

def grad(dataM,classM):		#返回值为回归系数
    dataM=np.mat(dataM)     #转换成矩阵形式，方便计算
    classM=np.mat(classM).transpose()   #转换成矩阵后再转置
    m,n=np.shape(dataM)
    alpha=0.001
    maxcycles=500
    weights=np.ones((n,1))
    for i in range(maxcycles):
        h=sigmoid(dataM*weights)
        error=classM-h
        weights=weights+alpha*dataM.transpose()*error
    return weights

其中

weights+alpha*dataM.transpose()*error

转换成矩阵形式如下：
$$dataM.transpose()\ast error=\left[\begin{array}{ccccc}{x}_0^1& x_0^2& x_0^3& \cdots & x_0^{100}\\ x_1^1& x_1^2& x_1^3& \cdots & x_1^{100}\\ x_2^1& x_2^2& x_2^3& \cdots & x_2^{100}\end{array}\right]\ast \left[\begin{array}{c}{y}^1-sigmoid(w_0{x}_0^1+w_1{x}_1^1+w_2{x}_2^1)\\ y^2-sigmoid(w_0{x}_0^2+w_1{x}_1^2+w_2{x}_2^2)\\ \cdots \\ y^{100}-sigmoid(w_0{x}_0^{100}+w_1{x}_1^{100}+w_2{x}_2^{100})\end{array}\right]$$
与导出结果一致。
运行上面的函数，输出如下：

[[ 4.12414349]
 [ 0.48007329]
 [-0.6168482 ]]

该数组即为特征的回归系数。

画出决策边界

我们设定$0=w_0{x}_1+w_1{x}_2+w_2{x}_3$，其中$x_1$为1，然后解出形如$y=ax+b$的形式，即：
$$y=-(w_0-w_{1}x)/w_2$$
绘图部分代码如下：

def plotFig():
    import matplotlib.pyplot as plt
    datas,labels=create_data()
    ws=grad(datas,labels)
    print(ws)
    ws=np.array(ws)
    dataArr=np.array(datas)
    data_len=np.shape(datas)[0]     #数据个数
    x1=[];y1=[]
    x2=[];y2=[]
    for i in range(data_len):
        if int(labels[i])==1:       #属于第一类时
            x1.append(dataArr[i][1]);y1.append(dataArr[i][2])
        else:
            x2.append(dataArr[i][1]);y2.append(dataArr[i][2])

    fig=plt.figure()                #把两类数据依次绘制散点图
    ax=fig.add_subplot(111)
    ax.scatter(x1,y1,s=30,c='red',marker='s')
    ax.scatter(x2,y2,s=30,c='green')
    
    x=np.arange(-3.0,3.0,0.1)
    y=(-ws[0]-ws[1]*x)/ws[2]

    ax.plot(x,y)                    #绘制分界函数
    plt.show()

运行出来的图像如下：

分类大体正确，较好的区分出来了两类数据。