大师兄的数据分析学习笔记(十四）：机器学习与数据建模

大师兄的数据分析学习笔记(十三）：特征预处理（四）
大师兄的数据分析学习笔记(十五）：分类模型(一）

一、基础概念

• 学习：通过接收到的数据，归纳提取相同与不同。
• 机器学习：让计算机以数据为基础，进行归纳与总结。
• 模型：数据解释现象的系统，可以看做是机器学习产出的函数。

二、关于机器学习

• 机器学习根据是否有标注，可以分为监督学习、非监督学习和半监督学习。
• 机器学习的任务，就是提炼出输入数据与标注间的关系，并进行预测。

1. 监督学习

• 监督学习就是有标注的机器学习过程，标注告诉模型在怎样的特征下，应该输出怎样的结果。
• 根据标注时离散值还是连续值，监督学习可以分为分类学习和回归学习。

标注是离散值：分类学习
标注是连续值：回归学习

2. 非监督学习

• 如果机器学习的过程没有标注，叫做非监督学习。
• 非监督学习完全让数据自己说话，将数据的特征在不同的模型中进行不同的表现。
• 非监督学习经常分为聚类分析和关联分析。

3. 半监督学习

• 如果机器学习的过程部分有标注，叫做半监督学习。
• 半监督学习中，有标注的数据可以作用于没有标注的数据，规范和引导聚类和关联的方向。
• 同时，没有标注的数据也可以作用于有标注的数据，时刻获得模型对数据的影响和反馈。

三、关于数据集

• 在建模前，通常会将数据集分成三个部分：训练集、验证集和测试集，这种方法也叫作交叉验证。
• 这三部分数据集的比例通常取：6:2:2。
• 如果只将数据分为训练集和测试集，比例通常取4:1。

1. 训练集

• 训练集是用来训练与拟合模型。
• 模型的参数由训练集决定。
• 训练集的数据越多，模型相对于整个数据集越准确。

2. 验证集

• 验证集是用于验证训练集训练出的模型，进行数据纠偏或比例预测，从多个模型中选出最优模型。

3. 测试集

• 测试集用于模型泛化能力的考量，通过验证集得出最优模型后，对模型进行预测，衡量模型的性能和分类能力。
• 泛化能力指的是对未知数据或实际场景数据的预测能力。
• 如果数据集在训练集和验证集数据表现良好，但在测试集数据中表现较差，这种现象称为过拟合现象。

4. 分类方法

• 为了全面衡量模型的质量，数据集的分类选取通常是随机的。
• 有时为了更全面的考察模型，会使用K-fold叉验证：

• 将数据集分成k份，每份轮流做一遍测试集，其它作训练集。

>>>import os
>>>import pandas as pd
>>>from sklearn.model_selection import train_test_split

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X_tt,X_validation = train_test_split(df,test_size=0.2)
>>>X_train,X_test = train_test_split(X_tt,test_size=0.25)
>>>print(f"X_train:{len(X_train)}")
>>>print(f"X_validation:{len(X_validation)}")
>>>print(f"X_test:{len(X_test)}")
X_train:882
X_validation:294
X_test:294