认识数据挖掘

数据挖掘的方向

数据库技术角度
统计学角度
机器学习角度

一，数据挖掘的发展动力

1，数据量的增长

• 自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。

2，数据量繁多，缺乏寻找有用的信息

3，数据仓库技术金额数据挖掘技术

• 数据仓库（Data Warehouse）和在线分析处理（OLAP）
• 数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）

数据库技术的演化

• 文件系统（1960s和以前）
• 层次数据库和网状数据库（1970s）
• 关系数据模型，关系数据库管理系统（RDBMS）的实现（1980s早期）
• 各种高级数据库系统（扩展的关系数据库，面向对象数据库等等）
• 面向应用的数据库系统（spatial数据库，时序数据库，多媒体数据库等等）（1980s晚期）
• 数据挖掘，数据仓库，多媒体数据库和网络数据库（1990s）
• 流数据管理和挖掘
  基于各种应用的数据挖掘
  XML数据库和整合的信息系统

二，什么是数据挖掘

数据挖掘（从数据中发现知识）

• 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识
• 挖掘的不仅仅是数据，知识挖掘。

数据挖掘的引申

• 数据库中的知识挖掘（KDD）
  知识提炼、数据/模式分析、数据考古、数据捕捞、信息收获

数据挖掘的应用

• 数据分析和决策支持

1 市场分析和管理

(1) 数据从哪里来

• 信用卡交易，会员卡，商家优惠，客户服务，用户行为记录

(2) 目标市场

• 构建一系列的“客户群模型”，这些顾客具有相同特征：兴趣爱好，收入水平，消费习惯，等等
• 确定顾客的购买模式

(3) 交叉市场分析

货物销售之间的相互联系和相关性，以及基于这种联系上的预测

(4) 顾客分析

• 哪类顾客购买那种商品
• 聚类分析或分类预测

(5) 客户需求分析

• 确定适合不同顾客的最佳商品，用户购买商品分类
• 预测何种因素能够吸引新顾客，分析顾客购买产品的特征

(6) 概要信息提供

• 多维度的综合报告
• 统计概要信息（数据的集中趋势和变化）

2 公司风险分析和管理

（1）财务计划

• 现金流转分析和预测
• 交叉区域分析和时间序列分析（财务资金比率，趋势分析等）

（2） 资源计划

• 总结和比较资源花费

（3） 市场竞争

• 对竞争者和市场趋势的监控
• 将顾客按等级分组和基于等级的定价过程
• 将定价策略应用于竞争更激烈的市场中

3 欺诈行为检测和异常模式的发现

（1）方法

• 对欺骗行为进行聚类和建模，并进行孤立点分析

（2） 应用

• 卫生保健、零售业、信用卡服务、电信等
  汽车保险：相撞事件的分析
  非法交易

• 医疗保险
  职业病人，医生以及相关数据分析
  不必要的或相关的测试

• 电信 ：电话呼叫欺骗行为
  电话呼叫模型 ：呼叫目的地，持续时间，日或周呼叫次数。分析该模型发现与期待标准的偏差

• 零售行业

• 欺骗检测和异常模式的监测（孤立点）

3 其他应用

• 文本挖掘（新闻组，电子邮件，文档）和WEB挖掘
  数据挖掘算法应用于网络访问日志，从与市场相关的网页中发现消费者的偏爱和行为，分析网络销售的有效性。
• 流数据挖掘
• DNA和数据分析

数据挖掘的步骤

业务模式识别

• 了解应用的领域，应用的目标和相关的知识

创建目标数据集

• 选择数据

数据清理和预处理

数据缩减和变换

• 找到有用的特征，维数缩减/变量缩减，不变量的表示。

选择数据挖掘的功能

• 数据总结、分类模型数据挖掘，回归分析，关联规则挖掘，聚类分析等。

数据挖掘算法

模式评估和知识表示

• 可视化，转换，消除冗余

运用发现的知识