机器学习-day3

@day3

1-回归和聚类
2-线性回归
3-欠拟合与过拟合
4-岭回归
5-分类算法:逻辑回归
6-模型保存与加载
7-无监督学习 K-means算法


4.1 线性回归
    回归问题:
    目标值 - 连续型的数据
4.1.1 线性回归的原理
    2 什么是线性回归
        函数关系 特征值和目标值
        线型模型
            线性关系
        y = w1x1 + w2x2 + w3x3 + …… + wnxn + b
          = wTx + b
        数据挖掘基础
        y = kx + b
        y = w1x1 + w2x2 + b
        y = 0.7x1 + 0.3x2
        期末成绩:0.7×考试成绩+0.3×平时成绩
        [[90, 85],
        []]
        [[0.3],
        [0.7]]
        [8, 2] * [2, 1] = [8, 1]
        广义线性模型
            非线性关系?
            线性模型
                自变量一次
                 y = w1x1 + w2x2 + w3x3 + …… + wnxn + b
                参数一次
                 y = w1x1 + w2x1^2 + w3x1^3 + w4x2^3 + …… + b
            线性关系&线性模型
            线性关系一定是线性模型
            线性模型不一定是线性关系
     4.1.2 线性回归的损失和优化原理(理解记忆)
        目标:求模型参数
            模型参数能够使得预测准确
        真实关系:真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
        随意假定:预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率
        损失函数/cost/成本函数/目标函数:
            最小二乘法
        优化损失
            优化方法?
            正规方程
                天才 - 直接求解W
                拓展:
                1)
                    y = ax^2 + bx + c
                    y' = 2ax + b = 0
                    x = - b / 2a
                2)
                    a * b = 1
                        b = 1 / a = a ^ -1
                    A * B = E
                    [[1, 0, 0],
                    [0, 1, 0],
                    [0, 0, 1]]
                    B = A ^ -1

            梯度下降
                勤奋努力的普通人
                    试错、改进
        4.1.4 波士顿房价预测
            流程:
                1)获取数据集
                2)划分数据集
                3)特征工程:
                    无量纲化 - 标准化
                4)预估器流程
                    fit() --> 模型
                    coef_ intercept_
                5)模型评估
        回归的性能评估:
            均方误差
        4 正规方程和梯度下降对比
4.2 欠拟合与过拟合
训练集上表现得好,测试集上不好 - 过拟合
4.2.1 什么是过拟合与欠拟合
    欠拟合
        学习到数据的特征过少
        解决:
            增加数据的特征数量
    过拟合
        原始特征过多,存在一些嘈杂特征, 模型过于复杂是因为模型尝试去兼顾各个测试数据点
        解决:
            正则化
                L1
                损失函数 + λ惩罚项
                LASSO
                L2 更常用
                损失函数 + λ惩罚项
                Ridge - 岭回归
4.3 线性回归的改进-岭回归
4.3.1 带有L2正则化的线性回归-岭回归
    alpha 正则化力度=惩罚项系数
4.4 分类算法-逻辑回归与二分类
4.4.1 逻辑回归的应用场景
    广告点击率 是否会被点击
    是否为垃圾邮件
    是否患病
    是否为金融诈骗
    是否为虚假账号
    正例 / 反例
4.4.2 逻辑回归的原理
    线型回归的输出 就是 逻辑回归 的 输入
    激活函数
        sigmoid函数 [0, 1]
        1/(1 + e^(-x))
    假设函数/线性模型
        1/(1 + e^(-(w1x1 + w2x2 + w3x3 + …… + wnxn + b)))
    损失函数
        (y_predict - y_true)平方和/总数
        逻辑回归的真实值/预测值 是否属于某个类别
        对数似然损失
        log 2 x
    优化损失
        梯度下降
4.4.4 案例:癌症分类预测-良/恶性乳腺癌肿瘤预测
    恶性 - 正例
    流程分析:
        1)获取数据
            读取的时候加上names
        2)数据处理
            处理缺失值
        3)数据集划分
        4)特征工程:
            无量纲化处理-标准化
        5)逻辑回归预估器
        6)模型评估
真的患癌症的,能够被检查出来的概率 - 召回率
4.4.5 分类的评估方法
    1 精确率与召回率
        1 混淆矩阵
            TP = True Possitive
            FN = False Negative
        2 精确率(Precision)与召回率(Recall)
            精确率
            召回率 查得全不全
            工厂 质量检测 次品 召回率
        3 F1-score 模型的稳健型
   总共有100个人,如果99个样本癌症,1个样本非癌症 - 样本不均衡
   不管怎样我全都预测正例(默认癌症为正例) - 不负责任的模型
       准确率:99%
       召回率:99/99 = 100%
       精确率:99%
       F1-score: 2*99%/ 199% = 99.497%
       AUC:0.5
            TPR = 100%
            FPR = 1 / 1 = 100%
   2 ROC曲线与AUC指标
        1 知道TPR与FPR
            TPR = TP / (TP + FN) - 召回率
                所有真实类别为1的样本中,预测类别为1的比例
            FPR = FP / (FP + TN)
                所有真实类别为0的样本中,预测类别为1的比例
4.5 模型保存和加载
4.6 无监督学习-K-means算法
4.6.1 什么是无监督学习
    没有目标值 - 无监督学习
4.6.2 无监督学习包含算法
    聚类
    K-means(K均值聚类)
    降维
    PCA
4.6.3 K-means原理
4.6.5 案例:k-means对Instacart Market用户聚类
    k = 3
    流程分析:
    降维之后的数据
    1)预估器流程
    2)看结果
    3)模型评估
4.6.6 Kmeans性能评估指标
    轮廓系数
    如果b_i>>a_i:趋近于1效果越好,
    b_i<
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge
from sklearn.metrics import mean_squared_error
from sklearn.externals import joblib


def linear1():
    """
    正规方程的优化方法对波士顿房价进行预测
    :return:
    """
    # 1)获取数据
    boston = load_boston()

    # 2)划分数据集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3)标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4)预估器
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 5)得出模型
    print("正规方程-权重系数为:\n", estimator.coef_)
    print("正规方程-偏置为:\n", estimator.intercept_)

    # 6)模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价:\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("正规方程-均方误差为:\n", error)

    return None


def linear2():
    """
    梯度下降的优化方法对波士顿房价进行预测
    :return:
    """
    # 1)获取数据
    boston = load_boston()
    print("特征数量:\n", boston.data.shape)

    # 2)划分数据集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3)标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4)预估器
    estimator = SGDRegressor(learning_rate="constant", eta0=0.01, max_iter=10000, penalty="l1")
    estimator.fit(x_train, y_train)

    # 5)得出模型
    print("梯度下降-权重系数为:\n", estimator.coef_)
    print("梯度下降-偏置为:\n", estimator.intercept_)

    # 6)模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价:\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("梯度下降-均方误差为:\n", error)

    return None


def linear3():
    """
    岭回归对波士顿房价进行预测
    :return:
    """
    # 1)获取数据
    boston = load_boston()
    print("特征数量:\n", boston.data.shape)

    # 2)划分数据集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3)标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4)预估器
    # estimator = Ridge(alpha=0.5, max_iter=10000)
    # estimator.fit(x_train, y_train)

    # 保存模型
    # joblib.dump(estimator, "my_ridge.pkl")
    # 加载模型
    estimator = joblib.load("my_ridge.pkl")

    # 5)得出模型
    print("岭回归-权重系数为:\n", estimator.coef_)
    print("岭回归-偏置为:\n", estimator.intercept_)

    # 6)模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价:\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("岭回归-均方误差为:\n", error)

    return None

if __name__ == "__main__":
    # 代码1:正规方程的优化方法对波士顿房价进行预测
    linear1()
    # 代码2:梯度下降的优化方法对波士顿房价进行预测
    linear2()
    # 代码3:岭回归对波士顿房价进行预测
    linear3()

你可能感兴趣的:(sklearn,机器学习,r语言)