机器学习之路14
逻辑回归
逻辑回归应用于二分类问题，例如：
逻辑回归的原理
输入
逻辑回归的输入就是一个线性回归的结果
激活函数
sigmoid函数：
回归的结果输入到sigmoid函数当中
输出的结果是一个在[0,1]当中的概率值，阈值默认为0.5（即大于0.5为是，小于0.5为否）
损失机器优化
在逻辑回归中，称之为对数拟然损失，公式如下：
那么我们如何理解这个式子呢？
可以看到，当hg(x)==1时，损失函数的值为0，当hg(x)==0时，损失函数的值非常大。这满足损失函数的定义
可以看到，当hg(x)==1时，损失函数的值为非常大，当hg(x)==0时，损失函数的值为0。这满足损失函数的定义
损失函数的公式：
具体实例计算：
逻辑回归的API
逻辑回归分类的评估方法：
混淆矩阵
在分类任务下，预测结果与正确标记之间存在四种不同的组合，从而构成混淆矩阵。
精确率
预测结果为正例样本中真是为正例的比例，即 TP / TP+FP
召回率
真正为正例样本中预测结果为正例的比例（对正样本的区分能力）
即为 TP / TP + FN
F1-SCORE,反应了模型的稳健性
分类评估的API
但是这还有一个问题：
ROC曲线与AUC指标
TPR
FPR
ROC曲线
最终的AUC指标在[0.5,1]之间，并且越接近1越好。
AUC的API
总结：AUC只能用来评价二分类，AUC非常适合评价样本不平衡中的分类器性能。
用逻辑回归来预测癌细胞（代码实例）：
import pandas as pd
import numpy as np
# 1 读取数据
path = "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data"
coulum_name = ["Sample code number","Clump Thickness","Uniform of Cell Size","Uniformity of Cell Shape","Manginel Adhesien","Single Epithelial Cell Size"
,"Bare Nuclei","Bland Chromation","Normal Nucieoli","Mitoses","Class"]
data = pd.read_csv(path,names=coulum_name)
# 2 缺失值处理
#替换为 ——>np.nan
data = data.replace(to_replace="?",value=np.nan)
#删除缺失样本
data.dropna(inplace = True)
data.isnull().any() #说明缺失值已经完全删除
# 3 划分数据集
from sklearn.model_selection import train_test_split
#筛选特征值和目标值
data.head()
x = data.iloc[:, 1:-1]
y = data["Class"]
x_train,x_test,y_train,y_test = train_test_split(x, y)
# 4 特征工程--标准化
from sklearn.preprocessing import StandardScaler
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
#5 逻辑回归预估器
from sklearn.linear_model import LogisticRegression
estimator = LogisticRegression()
estimator.fit(x_train,y_train)
#逻辑回归模型的回归系数和偏置
estimator.coef_
# 6 模型评估
#方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值：\n",y_test == y_predict)
#方法2：计算准确率
score = estimator.score(x_test,y_test)
print("准确率为:\n",score)
#查看精确率，召回率，以及F1-score
from sklearn.metrics import classification_report
report = classification_report(y_test,y_predict,labels=[2,4],target_names=['良性','恶性'])
print(report)
# 因为 y_true:每个样本的真是类别，必须为0（反例），1（正例）标记
#将y_test转换成 0 1
y_true = np.where(y_test > 3 , 1 , 0)
#导入AUC模块
from sklearn.metrics import roc_auc_score
roc_auc_score(y_true,y_predict)
模型的保存和加载
API:
