机器学习流程-2

机器学习的流程共分6个步骤，分别为业务理解、数据理解、数据准备、算法建模、模型评估及平台部署。根据不同需要和场景，某些步骤可省略。下面我们分别讲解各个步骤需要进行的工作。

1、业务理解

第一步需要对所在的业务进行理解，理解的内容包含业务逻辑、业务指标等，要思考最终想要生成什么样的应用，该应用和哪些数据相关，数据间的逻辑是怎样等问题。
落实到市场上，做到精准营销；
落实到网络上，做到智能运维。

2、数据理解

数据理解与业务理解息息相关，需要将业务逻辑转化成数据，选择什么数据，每个数据的权重，这些都需要在准备数据前考虑。

3、数据准备

在整个机器学习步骤中，基本上数据准备环节会花费70%左右的时间精力。需要不断尝试实验，进而建立最优的特征工程。

第一步：数据采集

可通过相关数据库平台或使用爬虫进行采集

第二步：数据探索

通过数据探索，选取符合条件的特征（列），可使用SPSS，EXCEL等简易工具进行数据可视化，观察不同特征的选取对结果的影响。
此部分需要花费很大的精力，反复推敲实验。

第三步：数据预处理

提取的数据中会存在缺失值、异常值的情况
数据预处理主要目标就是对提取数据的缺失值、异常值进行处理
处理的方法有很多，后续我们一一介绍。

第四步：特征工程

特征工程主要是选取重要特征，为后续算法建模做好准备。

在接下来的笔记中会陆续介绍具体算法流程

4、算法建模

A、算法可分为有监督学习、无监督学习

• 有监督学习（带标签）
  离散型——分类算法
  连续型——回归算法
• 无监督学习（不带标签）
  聚类算法
  推荐系统
• 半监督学习
• 强化学习（行为主义）
  Q-learning

B、算法建模包括超参数调优、模型训练

• 超参数调优（使用验证集）
  注意防止数据过拟合
• 模型训练（使用训练集）

5、模型评估

一般使用统计学指标：方差、标准差等

6、平台部署

训练好的模型部署在云平台上
对于新用户使用在线学习