数据挖掘引论

数据挖掘引论

一. 数据挖掘(KDD)的基本过程

• 数据清理（消除噪声和删除不一致数据）
• 数据集成（多种数据源可以组合在一起）
• 数据选择（从数据库中提取与分析任务相关的数据）
• 数据变换（通过汇总或聚集操作，把数据变换和统一成合适挖掘的形式）
• 数据挖掘（基本步骤，使用智能方式提取数据模式）
• 模式评估（根据某种兴趣度量，识别代表知识的真正有趣的模式）
• 知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）

二. 数据源类型

• 数据库数据

数据库管理系统(DBMS)，由数据库和一组管理和存取数据的软件程序组成。关系数据库是表的汇集，每张表内通常存放大量元组。

• 数据仓库

数据仓库是一个从多个数据源收集的数据存储库，存放在一致的模式下，并且通常驻留在单个站点上。通常，数据仓库用数据立方体构成，不同的维度代表不同的属性，在每个维度上可以实现下钻(drill-down)和上卷(roll-up)。

• 事务数据

事务数据库的每个记录代表一个事物，如顾客的一次购物，一个航班订票，或者一个用户的网页点击。

三. 数据挖掘的模式类型

 一般来说，数据挖掘功能用于指定数据挖掘任务发现的模式，一般而言，这些任务可以分为两类：描述性和预测性

1.数据特征化和数据区分

2.挖掘频繁模式

频繁模式是在数据中频繁出现的模式，包括频繁项集，频繁子序列(又称序列模式)和频繁子结构。可以使用置信度和支持度对该模式进行关联分析，如果一个关联规则不能同时满足最小支持度阈值和最小置信度阈值，则被认为是无趣的而被丢弃。

3. 用于预测分析的分类和回归

分类预测类别标号(离散的，无序的)。比如IF-THEN规则，决策树，数学公式或神经网络。回归则是建立连续值函数模型。

4. 相关分析

可能需要在分类和回归之前进行，它识别与分类和回归过程显著相关的属性，我们将选取这些属性用于分类和回归过程。

5. 聚类分析

聚类分析数据对象而不考虑类标号，它根据最大化类内相似性，最小化类内相似性的原则进行聚类或分组。

四. 数据挖掘使用的技术

• 统计学(包括统计描述，推理统计学等)
• 机器学习(监督学习，无监督学习，半监督学习和主动学习)