数据离散化与数据概化

    离散化指把连续型数据切分为若干“段”，也称bin，是数据分析中常用的手段。切分的原则有等距，等频，优化，或根据数据特点而定。在营销数据挖掘中，离散化得到普遍采用。究其原因，有这样几点：
①算法需要。例如决策树，NaiveBayes等算法本身不能直接使用连续型变量，连续型数据只有经离散处理后才能进入算法引擎。这一点在使用具体软件时可能不明显。因为大多数数据挖掘软件内已经内建了离散化处理程序，所以从使用界面看，软件可以接纳任何形式的数据。但实际上，在运算决策树或NaiveBayes模型前，软件都要在后台对数据先作预处理。
②离散化可以有效地克服数据中隐藏的缺陷：使模型结果更加稳定。例如，数据中的极端值是影响模型效果的一个重要因素。极端值导致模型参数过高或过低，或导致模型被虚假现象“迷惑”，把原来不存在的关系作为重要模式来学习。而离散化，尤其是等距离散，可以有效地减弱极端值和异常值的影响，

③有利于对非线性关系进行诊断和描述：对连续型数据进行离散处理后，自变量和目标变量之间的关系变得清晰化。如果两者之间是非线性关系，可以重新定义离散后变量每段的取值，如采取0，1的形式， 由一个变量派生为多个哑变量，分别确定每段和目标变量间的联系。这样做，虽然减少了模型的自由度，但可以大大提高模型的灵活度。

概念分层：

1 分箱

2 直方图分析

3 基于熵的离散化

4 基于X2分析的区间合并

5 聚类分析

6 通过直观划分离散化

离散数据的概化

1 由用户或专家在模式级显示地说明属性的部分序

2 通过显示数据分组说明分层结构的一部分

3 说明属性集但不说明他们的偏序

4 只说明部分属性集