机器学习（一）机器学习的流程以及部分概念简介

机器学习的流程以及部分概念简介

这是我进行机器学习的第一天，看了一些资料，讲的有些杂乱，还得自己看了好一会儿资料，才把这个流程给整理了出来。如果有问题，还请各位大佬多多指正。
个人觉得，在进行相关学习之前，务必要对及其学习的相关流程进行一些梳理，只有把这个流程大体梳理明白了，框架搭起来了，才能对及其学习有一个整体的概念之后的学习，我也将围绕这个流程进行逐一的学习和攻破。

step1.明确需求，具体要做什么务必要明确

step2.首先得获取数据，数据的获取有如下途径：

• 公司自己就有所需数据
• 公司与其他机构合作，获取相关数据
• 购买数据

step3.对数据进行基本处理

我们在获得原始数据之后，并不是一股脑的把这些数据全都拿来使用，实际上，数据在整个机器学习阶段大致经历了这样一个流程：
（原始数据–>数据清洗（形成特征）–>数据预处理–>特征工程–>进入到模型进行训练）

关于数据清洗，他与数据预处理的界限其实很模糊。很多时候甚至分不清彼此。因此，有不少资料甚至直接把这两个混为一谈。具体是什么，直接看看这个文章：数据清洗

​在基本处理的过程中，numpy，pandas等就派上了用场，这当中，pandas使用较多，主要也是用pandas进行数据处理，如缺失值处理，对多张表进行合并（Merge()）操作等。

step4.特征工程(很重要)

1.简介：

​ 特征工程是机器学习当中非常重要的一环。

​ 特征工程是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的模型准确性

​ 特征工程做的好坏与否，直接影响模型的预测结果

2.相关步骤

​特征工程包含若干的子问题，比如说下面这几个：

• 特征抽取
• 特征处理：通过特定的统计方法（数学方法）将数据转换成算法要求的数据
• 特征选择：将不需要的，冗余的数据以及噪声给剔除掉。说白了，很多时候，我们并不需要全部的数据，所以，应只保留我们需要的，这样可以减少计算量，也节省计算机性能。必要的时候，也需要对数据进行降维处理。

关于特征工程，可以参考这个博文：特征工程

step5.找到合适的算法去进行预测

1.数据

1.1数据的类型

​ 在讨论这个问题的时候，我们有必要了解一个概念：数据。大体上说，数据分为量大类型：

• 离散型数据：由记录不同类别个体的数目所得到的数据，又称计数数据，所有这些数据全部都是整数，而且不能再细分，也不能进一步提高他们的精确度。

• 连续型数据：变量可以在某个范围内取任一数，即变量的取值可以是连续的，如，长度、时间、质量值等，这类整数通常是非整数，含有小数部分。

  总的来说：离散型是区间内不可分，连续型是区间内可分

1.2 数据的结构

数据的结构：特征值 + 目标值

其中，目标值可以有，也可以没有

在机器学习当中，数据是最为基本的要素，有了数据，我们才可能进行机器学习。对于数据，就不得不说起数据集的问题。对于数据集，可以参考这个博文：机器学习（三）sklearn数据集

2.相关算法

2.1监督与非监督学习

对于有目标值，和没有目标值的数据，我们需要不同的算法进行处理，于是便有了：监督学习，非监督学习这两大类。

• 监督学习：英语：Supervised learning），可以由输入数据中学到或建立一个模型，并依此模式推测新的结果。输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值（称为回归），或是输出是有限个离散值（称作分类）
• 非监督学习（英语：Unsupervised learning），可以由输入数据中学到或建立一个模型，并依此模式推测新的结果。输入数据是
  由输入特征值所组成。

2.2 分类与回归

• 分类：分类是监督学习的一个核心问题，在监督学习中，当输出变量取有限个离散值时，预测问题变成为分类问题。最基础的便是二分类问题，即判断是非，从两个类别中选择一个作为预测结果；
• 回归：回归是监督学习的另一个重要问题。回归用于预测输入变量和输出变量之间的关系，输出是连续型的值。

2.3 算法分类

根据以上提供的概念，我们可以做出这样的总结：根据数据有无目标值，我们将算法分为监督学习，非监督学习两大类

根据数据是离散还是连续型的数据，我们又在监督学习当中，将相关问题分为分类问题，回归问题两大类。

根据顺着这个逻辑，我们有了如下算法分类：

• 监督学习

  • 分类问题：k-近邻算法（相关数学理论看：聚类算法）；贝叶斯分类；决策树，决策森林；逻辑回归；神经网络等
  • 回归问题：线性回归；岭回归等
  • 标注问题：隐性马尔可夫模型

• 非监督学习：k-means算法

step6.对模型进行评估，并判断其是否管用

如果管用，进入step7， 如果不管用，那么回退到step3。 重新对数据进行处理，重新选择算法，再把step3~step6的流程走一遍，直到达到预期为止。

在训练数据，以及评估预测的时候，估计器是一个绕不过去的概念，可以参考一下这个博文：机器学习（四）sklearn转换器和估计器

step7.上线使用，往往是制作成api，供其他需要的部门，单位或者机构对接