数据挖掘标准规范之CRISP-DM基础

一、前言

　　每每提到数据挖掘，总有些人上来就是ETL、是算法、是数学模型，作为搞工程实施的我而言，很是头疼。其实作为数据挖掘的而言，算法只是其实现 手段、是工具和实现手段而已，我们不是在创造算法（国外职业搞研究的除外），我们是在使用算法而已，换句话说我们是算法的工程化实践者。数据挖掘非今日之 物，大数据挖掘也不是一个孤立的概念，其实质还是采用传统的数据挖掘的方法，只是其实现工具发生了变化而已，本质的东西还在。引入发布近20年前的 CRISP-DM数据挖掘标准规范模型，供大家共享，希望能有人喜欢。

二、框架

三、详述

3.1 业务理解（Business Understanding）

   最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将这个知识转化为数据挖掘问题的定义和完成目标的初步计划。

3.2  数据理解（Data Understanding）

   数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。

3.3  数据准备（Data Preparation）

   数据准备阶段包括从未处理的数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择，以及为模型工具转换和清洗数据。

3.4  建模（Modeling）

   在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。一般，有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特殊要求，因此需要经常跳回到数据准备阶段。

3.5  评估（Evaluation）

  到这个阶段，你已经从数据分析的角度建立了一个高质量显示的模型。在开始最后部署模型之前，重要的事情是彻底地评估模型，检查构造模型的步骤，确保 模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分的考虑。在这个阶段结束后，一个数据挖掘结果使用的决定必须达成。

3.6  部署（Deployment）

   通常，模型的创建不是项目的结束。模型的作用是从数据中找到知识，获得的知识需要便于用户使用的方式重新组织和展现。根据需求，这个阶段可以产生简 单的报告，或是实现一个比较复杂的、可重复的数据挖掘过程。在很多案例中，这个阶段是由客户而不是数据分析人员承担部署的工作。

四、总结

　　从以上流程和规范我们可以看到，算法实现过程，其实只占了数据挖掘的一部分，真正要想实现数据挖掘，并达到数据挖掘的目标，我们需要做的事情还有很多。

　　莫愁前路无知己，夜暗自有早行人。数据挖掘技术交流请加：大数据架构师技术交流：347018601