机器学习——07.逻辑回归实践

1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？（大家用自己的话介绍下）

　　逻辑回归是通过正则化防止过拟合的。数据正规化是将数据的每个样本（向量）变换为单位范数的向量，各样本之间是相互独立的。其实际上，是对向量中的每个分量值除以正规化因子。过拟合是因为数据太多太杂而造成测试误差高，而正规化通过约束参数的范数使其不要太大，可以从一堆数据中提取几列相关性系数比较大的数据来进行数据分析，从而在一定程度上减少过拟合情况。

 

2.用logiftic回归来进行实践操作，数据不限。

源代码（参考老师教学代码）：

import pandas as pd
import  numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import mean_squared_error

def logistic():
    #逻辑回归进行肿瘤预测
    column = ['数据编号','属性1','属性2','属性3','属性4','属性5','属性6','属性7','属性8','属性9','类别']
    #读取数据
    data = pd.read_csv('C:\\Users\\AAAA\\PycharmProjects\\untitled\\data\\breast-cancer-wisconsin.csv',names = column)

    #缺失值处理
    data = data.replace(to_replace='?',value = np.nan)
    data = data.dropna()

    #数据分析
    x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]],data[column[10]],test_size=0.3)

    #特征值和目标值进行标准化处理（需要分别处理），实例标准化API
    std = StandardScaler()

    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)

    #逻辑回归预测
    lg = LogisticRegression()
    lg.fit(x_train,y_train)
    print(lg.coef_)
    lg_predict = lg.predict(x_test)
    print('准确率：',lg.score(x_test,y_test))
    print('召回率：',classification_report(y_test,lg_predict,labels=[2,4],target_names=['良性','恶性']))

if __name__=='__main__':
    logistic();