大师兄的数据分析学习笔记(二十二）：逻辑回归（Logistic Regression）

大师兄的数据分析学习笔记(二十一）：线性回归
大师兄的数据分析学习笔记(二十三）：人工神经网络

一、逻辑斯特征增长模型

• 逻辑斯特征增长模型也叫S曲线，最早用来模拟生物种群的诞生、发展、顶峰和衰退的过程，经常可以用来拟合很多生活中常见的现象。
  
• 逻辑斯特征增长模型实际表现的是一种微分关系：。

• 为种群数量。
• 为时间。

• 拟合的的函数为：

• 其中

二、逻辑回归

• 逻辑回归在现实中，更多被当做分类器使用。
• 公式：

• 公式的值域是从0到1。
• 通过回归方程计算出的值，以0.5为界进行分类判断。

• 分类时的参数和特征，以线性变换的方式表示放在指数位：来实现变换：
• 这里的指数函数是单调函数，所有本质上逻辑回归也是一种线性回归的特殊情况：

• 逻辑回归不是完全意义上的非线性回归。
• 逻辑回归的值域是有限的，而线性回归的值域是无穷大。

• 逻辑回归解决非线性问题的思路和支持向量机一致：

• 在线性可分的情况下，用逻辑回归形成边界：
  

• 在不可分的情况下，需要在高维空间中进行映射：

  
  

• 逻辑回归的思路和回归方法的思想一致，求的最小值。
• 如果用梯度下降法求解，则为

三、代码实现

>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.model_selection import train_test_split
>>>from sklearn.metrics import  accuracy_score,recall_score,f1_score
>>>from sklearn.linear_model import LogisticRegression

>>>models = []
>>>models.append(("logistic",LogisticRegression(solver='sag')))

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X_tt,X_validation,Y_tt,Y_validation = train_test_split(df.JobLevel,df.JobSatisfaction,test_size=0.2)
>>>X_train,X_test,Y_train,Y_test = train_test_split(X_tt,Y_tt,test_size=0.25)

>>>for clf_name,clf in models:
>>>    clf.fit(np.array(X_train).reshape(-1,1),np.array(Y_train).reshape(-1,1))
>>>    xy_lst = [(X_train,Y_train),(X_validation,Y_validation),(X_test,Y_test)]
>>>    for i in range(len(xy_lst)):
>>>        X_part = xy_lst[i][0]
>>>        Y_part = xy_lst[i][1]
>>>        Y_pred = clf.predict(np.array(X_part).reshape(-1,1))
>>>        print(i)
>>>        print(clf_name,"-ACC",accuracy_score(Y_part,Y_pred))
>>>        print(clf_name,"-REC",recall_score(Y_part,Y_pred,average='macro'))
>>>        print(clf_name,"-F1",f1_score(Y_part,Y_pred,average='macro'))
>>>        print("="*40)
0
logistic -ACC 0.30498866213151926
logistic -REC 0.2516826246127851
logistic -F1 0.17905056087028304
========================================
1
logistic -ACC 0.3231292517006803
logistic -REC 0.243061797752809
logistic -F1 0.17549325025960538
========================================
2
logistic -ACC 0.3129251700680272
logistic -REC 0.2553696303696304
logistic -F1 0.1885718770848868
========================================