快速了解—机器学习、K-近邻算法及其API

一、ML机器学习(Machine Learning)

1、应用领域:数据挖掘、自然语言处理 NLP、计算机视觉 CV等。

2、发展的三要素:数据、算法、算力

3、相关术语

机器学习模型 = 数据 + 算法

数据:用于训练模型

        样本(sample):一行数据

        特征(feature):一列数据(必须和目标相关)

        标签(label)/目标(target):要预测的值,即答案列

数据集:训练集、测试集

        x_train:训练集的特征值

        y_train:训练集的目标值

        x_test:测试集的特征值

        y_test:测试集的目标值

二、算法分类(根据数据是否有标签)

1、有监督:监督学习的算法,要求数据一定要有目标值

                回归问题:目标值是连续取值(房价、薪水)

                分类问题:目标值是类别型(二分类、三分类、多分类)

2、无监督:没有目标值,无反馈

                典型场景聚类,获得标签的成本太高,可以采用无监督的方式(反欺诈)

3、半监督:一部分数据有标签、一部分数据没有标签

三、建模流程

1、获取数据

2、数据基本处理:空值、异常、重复

3、特征工程

    特征提取:原始数据中提取与任务相关的特征,构成特征向量

    预处理、降维、选择、组合

4、模型训练(调参):线性回归、逻辑回归、决策树、GBDT

5、模型评估:回归评测指标、分类评测指标、聚类评测指标

四、模型拟合

1、分类

        欠拟合:模型在 训练集和测试集 表现都很差

                产生原因:模型过于简单,特征过少

                解决办法:添加其他特征;添加多项式特征项

        过拟合:训练集表现很好,测试集表现很差

                产生原因:模型过于复杂、数据不纯、训练数据太少

                解决方法:重新清洗数据,增大训练数据的样本量,正则化,减少特征维度

Early stopping:当模型训练到某个固定的验证错误率阈值时,及时停止模型训练

2、正则化

        异常点数据造成权重系数过大、过小,尽量减少这个特征的影响(甚至删除某个特征的影响),这就是正则化。

        为了减少 过拟合的影响,控制模型的参数。尤其是高次项的权重参数

L1正则化:使得权重趋向于 0,甚至等于 0,使得某些特征失效,达到特征筛选的目的

快速了解—机器学习、K-近邻算法及其API_第1张图片

导包:from sklearn.linear_model import Lasso

正则化:estimator = Lasso ( alpha = 0.005,normalize = True )

        a:惩罚系数,该值越大则权重调整的幅度就越大

L2正则化:使得权重趋向于 0,一般不等于 0,对高次方项系数影响较大

tips:工程开发常用,产生一些平滑的权重系数

快速了解—机器学习、K-近邻算法及其API_第2张图片

岭回归导包:from sklearn.linear_model import Ridge

正则化:estimator = Ridge( alpha = 0.005,normalize = True )

五、KNN(K-近邻算法)

1、概述

        通过计算距离来判断样本之间的相似程度,距离越近两个样本就越相似, 就可以划归到一个类别中

2、算法思想

        如果一个样本在特征空间中的 k 个最相似的样本中的大多数属于某一个类别,则该样本也属于这个类别

3、样本相似性

        样本都属于一个任务数据集,样本距离越近越相似

4、基本流程

        1. 使用KNN算法对一个样本进行分类

        2. 计算当前样本和其它样本, 特征取值之间的距离,按距离 从小到大 进行排序

        3. 确定K值 :  离该样本最近的K个样本

        4. 通过这K个样本的类别 确定当前样本的类别

5、K(超参数)可调

        K越小 模型越复杂  容易受到 异常点 的影响,过拟合

        K越大 模型越简单  受到数据分布的影响,欠拟合

        当K = 样本数量的时候, 模型结果是确定的结果

6、API

        1. K-近邻导包

from sklearn.neighbors import KNeighborsClassifier,KNeighborsRegressor

        KNeighborsClassifier k-近邻(分类)

        KNeighborsRegressor k-近邻(回归)

        2. 创建 K近邻的分类器 / 回归器

        knn = KNeighborsClassifier(n_neighbors = 1)

        n_neighbors:即K值,样本个数

        3. 调用fit 模型训练

        knn.fit(x, y)                x 训练集特征值

                                          y 训练集目标值

        4. 使用训练好的模型进行预测

        knn.predict ( [[4,4,5]] )

        tips:训练时的维度 与 预测时传入的维度 要相同

7、距离 的度量方式

欧氏距离:两点之间的直线距离

曼哈顿距离:

快速了解—机器学习、K-近邻算法及其API_第3张图片

切比雪夫距离:

闵可夫斯基距离:多种距离的总的表示公式

快速了解—机器学习、K-近邻算法及其API_第4张图片

p = 1 曼哈顿,p = 2 欧氏距离,p = ∞ 切比雪夫距离

六、特征工程

1、归一化 / 标准化:可以把量纲不统一的特征,缩放到同一取值范围内

2、归一化(受异常值影响)

1. 归一化导包:from sklearn.preprocessing import MinMaxScaler

2. 创建一个 Scaler 对象:scaler = MinMaxScaler ( )

3. 调用fit 模型训练:scaler.fit(x)

        fit 就是在计算每一列 特征 的最大值和最小值, 并保存到 scaler 对象中

4. Transform 得到缩放之后的结果:scaler.transform(x)

        Transform 变化,利用上一步计算出来的 最大最小值, 作用到原始数据上,得到缩放之后的结果

3、标准化

1. 标准化导包:from sklearn.preprocessing import StandardScaler

2. 创建一个 Scaler 对象:scaler = StandardScaler ( )

3. 调用fit 模型训练:scaler.fit(x)

        fit 就是在计算每一列 特征 的均值方差, 并保存到 scaler 对象中

4. Transform 得到缩放之后的结果:scaler.transform(x)

        Transform 变化,利用上一步计算出来的 均值和方差, 作用到原始数据上,得到缩放之后的结果

你可能感兴趣的:(人工智能,机器学习)