联机分析处理(OLAP)与数据挖掘的关系

联机分析处理(OLAP)是用来分析数据仓库中海量数据的技术。它的核心概念是“维”,它支持数据分析人员和决策人员从不同的角度、不同的级别地对数据仓库中的数据进行复杂查询和多维分析处理,并且能以直观形象的形式将查询和分析结果展现给分析和决策人员。OLAP使用的逻辑数据模型为多维数据模型。它主要用于分析大量历史数据,提供汇总和聚集机制,访问大部分是只读操作。这不同于OLTP中频繁的更新修改数据。

数据挖掘(Data Mining)是从海量数据中,提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。数据挖掘的数据有多种来源,包括数据仓库、数据库或其他数据源。所有的数据都需要再次进行选择,具体的选择方式与任务相关。挖掘的结果需要进行评价才能最终成为有用的信息,按照评价结果的不同,数据可能需要反馈到不同的阶段,重新进行分析计算。数据挖掘的常用方法包括关联分析、分类和预测、聚类、检测离群点、趋势和演变分析等。可以说联机分析处理和数据挖掘是数据仓库之上的增值技术。

在理论研究上,OLAP技术的研究人员主要来自数据库界,重点研究数据立方体CUBE压缩与计算、实体化视图的选择与维护、多维数据的索引和多维查询处理等技术,以便能够在海量数据上提供秒级的分析请求响应时间。数据挖掘技术的研究人员来自人工智能、统计、数据库界,其研究主要集中在各种挖掘算法和评价方法上,研究可伸缩的数据挖掘方法、基于约束的挖掘方法、复杂数据类型的挖掘等。

联机分析处理和数据挖掘虽然是数据仓库上获取两种不同目标的数据增值技术,前者是分析型的,后者是验证型的,但这两类技术如果能够在一定程度上融合,会使分析操作智能化,使挖掘操作目标化,从而全面提升商务智能技术的实用价值。即:一方面,联机分析技术可以为数据挖掘提供预期的挖掘对象和目标,避免挖掘的盲目性。另一方面,数据挖掘技术可以使联机分析处理智能化,减少分析人员手工操作的繁杂性,减轻分析人员的负担。例如,当分析人员在手工分析操作中发现离群点数据,可以有针对性地直接对此数据利用数据挖掘技术寻找原因,从中找出恶意违规或发现新的需求点。又如,在数据分析过程中,通过跟踪分析人员的操作过程,利用数据挖掘技术预测他可能感兴趣的操作和数据,提前预计算或预取数据,从而提高分析操作的响应时间。
   
因此可以说,基于数据仓库的联机分析处理技术与数据挖掘技术的融合和互补,将是商务智能技术发展的未来走向。

你可能感兴趣的:(数据分析,数据库,算法,数据挖掘,数据仓库,任务)