【kaggle-Titanic笔记】CRISP-DM（二）.数据理解及数据预处理

CRISP-DM方法介绍

CRISP-DM代表cross-industry process for data mining即跨行业数据挖掘流程。CRIS-DM为策划一个数据挖掘项目提供了一个结构化的方法，是一个很好的理清项目研究思路的model。kaggle入门项目泰坦尼克生存预测的教程An Interactive Data Science Tutorial即使用了该模型。本文主要对 CRISP-DM说明文档的部分内容进行了一些理解性翻译，仅供交流参考。

CRISP-DM.png

2 数据理解Data understanding

Data undertanding.png

2.1数据描述 Describe Data

描述所获得数据,包括其格式，数量（如每个表中的记录和字段的数量），字段的表示，以及一些表面特征,评估所获得的数据是否满足你的要求。需要输出一份Decribe Data report。

2.2数据探索Explore data

在这一阶段，你将使用查询，*数据可视化等处理数据挖掘问题，这一阶段你主要需要关注：

• 关键变量的分布（例如预测任务中目标变量的分布）
• 各属性之间的相互关系
• 简单聚合的结果
• 显著子群的性质
• 简单的统计分析
  这些分析可能可以直接处理你的数据挖掘目标，也可能有助于或改进数据描述和质量报告，并未进一步分析提供准备。
  输出：数据探索报告data exploration report。在报告中包括对数据的初步发现，你的初步假设，该部分工作对余下工作的主要影响等，如果合适的话这一部分应当包含适量的图表。。

2.3 数据质量检验 verify data quality

检验数据质量，主要包括以下几个方面：

• 完整性（是否包含了要求的所有情况）
• 准确性 （是否存在错误值，错误值是随机的还是具有共同性质）
• 缺省值（是否有缺省值，缺省值如何表示，出现在什么位置，是否具有某些共同性质）
  输出：数据质量报告

---

data preparation.png

3 数据准备data preparation

3.1数据选择select your data

选择你将在分析中使用的数据，这一选择即包括对列的选择也包括对行的选择。
输出：列入/排除清单：明确数据列入和排除的原因。

3.2 数据清洗 clean your data

这一部分主要通过一些技术方法，提高所选择数据的质量。这其中包括干净子集的选择，合适默认值的插入，或者其他技术方法，比如通过建模填充缺失值等。
输出：数据清洗报告：列出你所采取的措施。

3.3 构造所需要的数据 construct requried data

构造数据既可以派生属性也可以生成记录，即你可以增加行也可增加列。

派生属性-这些属性是由同一记录中的一个或多个现有属性构造的新属性，例如，您可以使用长度和宽度的变量来计算区域的新变量

生成记录-例如，您可能需要为过去一年未购买的客户创建记录。没有理由在原始数据中有这样的记录，但是为了建模的目的，明确地表示特定客户进行零购买的事实可能是有意义的。

3.4 Integrate data 整合数据

整合数据包括对数据的合并和对数据的聚合。

• 数据合并：合并表是指将两个或多个具有同一对象的不同信息的表连接在一起。例如，一个零售连锁店可能有一个表，每个表包含每个存储的一个记录。这些表可以合并为一个新表，每个存储有一个记录，并从源表中组合字段。

• 聚合-聚合是指新值是指通过从多个记录总结信息的操作。