I 入门: 体系架构及相关技术
BI 入门: 体系架构及相关技术
(1) 老板，你要这么多数据做什么？
假如你是一个商品零售公司的老板。
你的公司很先进，已经实现了业务信息化，每一笔销售单据都保存在数据库中，日积月累，已经保存了十余年的销售数据，上亿条销售记录。
这时如果我问你：“反正三年前的数据留着也白白占地方，耗费存储成本，索性把它们全删掉吧，这样不用买硬盘就能容纳新数据，如何？”
你会从容的接受我这个建议吗？
那么老板，你要这么多数据做什么？
是的，和我一样，你也已经隐约认识到数据的价值，这就是我们割舍不下历史数据的原因，就像任何一个现代化企业，甚至就像任何一个传统的票号，如百年老店般虔诚地保存着古老的数据，因为我们有直觉，我们的直觉告诉我们：这些数据有用！
但这仅仅是一种直觉，到底该怎样把这些占据大量存储空间的数据的价值挖掘出来，让这些数据从成本的消耗者变成利润的促进者？
这中间似乎缺少了某些环节。
(2) Business Intelligence - 连接数据与决策者
BI(Business Intelligence) 是一种运用了数据仓库、在线分析和数据挖掘等技术来处理和分析数据的崭新技术，目的是为企业决策者提供决策支持。
让我们振臂高呼三遍：决策支持，决策支持，决策支持！
BI 是一个工厂：
>> BI 的原材料是海量的数据；
>> BI 的产品是由数据加工而来的信息和知识；
>> BI 将这些产品推送给企业决策者；
>> 企业决策者利用 BI 工厂的产品做出正确的决策，促进企业的发展；
这就是 Business Intelligence，即商业智能——连接数据与决策者，变数据为价值。
BI 应用的两大类别是信息类应用 和 知识类应用，其特征如下表所示：
信息类 BI 应用
指由原始数据加工而来的数据查询、报表图表、多维分析、数据可视化等应用，这些应用的共同特点是：将数据转换为决策者可接受的信息，展现给决策者。
例如将银行交易数据加工为银行财务报表。
仅负责提供信息，而不会主动去分析数据。
例如，银行财务报表工具没有深入分析客户流失和银行利率之间关系的能力，而只能靠决策者结合信息，通过人的思考，得出知识。
知识类 BI 应用
指通过数据挖掘技术和工具，将数据中隐含的关系发掘出来，利用计算机直接将数据加工为知识，展现给决策者。
会主动去数据中探查数据关联关系，发掘那些决策者人脑无法迅速发掘的隐含知识，并将其以可理解的形式呈现在决策者面前。
(3) BI 初级应用模式概览——数据查询(Querying)
数据查询是最简单的 BI 应用，属于 MIS 系统遗产，虽然出身比较老土，但是目前仍然是决策者获取信息的最直接的方法。
如今，数据查询界面已经彻底摆脱了传统 SQL 命令行，大量的下拉菜单、输入框、列表框等元素甚至是鼠标拖拽界面将后台干苦力的 SQL 语句包装成一个妖艳无比的数据获取系统，而本质仍然没有离开数据查询的几大要素：
>> 查什么
>> 从哪儿查
>> 过滤条件
>> 展示方法
目前国外比较流行的数据查询应用已经完全释放了数据查询的灵活性，如右图所示的是 Cognos ReportNet 的数据查询界面 Query Studio，允许用户通过纯浏览器界面，以鼠标拖拽操作定义数据查询要素，并以报表和图表等多种方式展现数据。
(4) BI 初级应用模式概览——报表(Reporting)
报表是国内最热衷的 BI 应用之一，这与报表在我国企事业单位中的历史地位是分不开的。我国的报表以其格式诡异、数据集中、规则古怪等特征著称于世，曾经让无数国外报表工具和 BI 工具捶胸顿足。
报表的两大要素是数据和格式，如果没有格式，则报表应用几乎等同于数据查询应用。可以说，报表就是将查询出来的数据按照指定的格式展现。
报表应用包含了报表展现和报表制作两大模块。报表展现就是让决策者看到报表，并允许决策者通过条件定义来选择报表数据，例如选择报表年度、部门、机构等等；报表制作面向报表的开发人员，其格式定义灵活性、数据映射灵活性、计算方法的丰富程度等均影响了 BI 报表应用的质量。
需要澄清一下的是，Microsoft Excel 不算是一个 BI 报表工具，因为 Excel 没有连接数据源的能力，充其量是一个 Spread Sheet。但是 Excel 强大的格式功能让报表制作人员竟折腰，乃至到后来，几乎所有 BI 厂商都提供了面向 Microsoft Excel 的插件，通过插件，Excel 可以连接到 BI 的数据源上，摇身一变为 BI 报表工具，丑小鸭变天鹅。
5) BI 高级应用模式概览——在线分析(OnLine Analytical Processing,OLAP)
OLAP ，即联机分析处理，是 BI 带来的一种全新的数据观察方式，是 BI 的核心技术之一。
我们知道，数据在数据库中是以数据表来存储的，比如某商店的销售数据存储在如下所示的一张数据表中：
销售时间
销售地点
产品
销售数量
销售金额
2004-11-1
北京
肥皂
10
342.00
2004-11-6
广州
桔子
30
123.00
2004-12-3
北京
香蕉
20
12.00
2004-12-13
上海
桔子
50
189.00
2005-1-8
北京
肥皂
10
342.00
2005-1-23
上海
牙刷
30
150.00
2005-2-4
广州
牙刷
20
100.00
决策者希望知道的往往是分布、占比、趋势之类的宏观信息，比如下列问题：
>> 北京地区的销售数量虽时间的变化趋势？
>> 哪种产品在 2005 年销售比 2004 年销售增幅最大？
>> 2004 年各产品销售额的比例分布？ ……
面对这种需求，必须用 SQL 语句进行大量的 SUM 操作，每得出一个问题的结果，就需要 SQL SUM。面对上面的 7 条记录，我们可以很容易的得出结果，但是当我们面对百万级甚至亿级的记录条数时，例如移动公司通话数据，每次 SQL SUM 都需要消耗大量的时间来计算，决策者经常是在第一天提出分析需求，等到第二天才能拿到计算结果，这种分析方式是“脱机分析”，效率很低。
为了提高数据分析效率，OLAP 技术彻底打破以记录为单位的数据浏览方式，而将数据分离为“维度(Dimension)”和“度量(Measure)”：
>> 维度是观察数据的角度，例如上面示例中的“销售时间”、“销售地点”、“产品”；
>> 度量是具体考察的数量值，例如上例中的“销售数量”和“销售金额”；
这样一来，我们就可以将上面这张平版的数据列表转换为一个拥有三个维度的数据立方体( Cube )：
而探查数据的过程，就是在这个立方体中确定一个点，然后观察这个点的度量值：
当然，数据立方体并不局限于三个维度，这里采用三个维度来说明问题，只是因为通过图形可以表现出来的极限就是三个维度。
维度可以划分层次，例如时间上可以从日向上汇总为月和年，产品可以向上汇总为食品和日用品，地点可以向上汇总为华北和华南，用户可以沿着维度的层次任意向下钻取(Drill Down)和向上汇总(Roll Up)：
通过这种方式，我们就可以摆脱 SQL SUM 对速度的制约，快速定位符合不同条件的细节数据，更可以迅速得到某一层次的汇总数据。OLAP 技术为决策者提供了多角度、多层次、高效率的数据探查方式，决策者的思维不再被固定的下拉菜单、查询条件所束缚，而是由决策者的思维带领数据的获取，任意组合分析角度和分析目标，这种打破传统的互动性分析和高效率使 OLAP 成为 BI 系统的核心应用。
(*) 第四喷：BI 高级应用模式 —— 数据可视化与数据挖掘
(6) BI 应用模式概览——数据可视化(Visualization)
数据可视化应用致力于将信息以尽可能多的形式展现出来，目的是使决策者通过图形这种直观的表现方式迅速获得信息中蕴藏的知识，如趋势、分布、密度等要素。 值得一提的是，以 MapInfo 公司为代表的 GIS 软件商，目前也正在努力结合 BI 应用。MapInfo 率先提出了 Location Intelligence 概念，依托于地理信息系统，展现各地区的属性值，例如人口密度，工业产值，人均医院数量等等，这种可视化应用部分与 BI 数据可视化应用重合，并形成有力补充，有时可以在一个项目中互相搭配。
上图所示的是 Cognos Visualizer 产品，这家伙用几近哗众取宠的丰富形式展现数据和信息，包含了地图、饼图、瀑布图等近五十种展现图形，并提供了二维和三维两种展现方式。所有的图形元素都是可活动的，例如用户可以通过点击地图上的某一个省，钻取到这个省各个城市的信息，这种可交互性是 BI 与普通图片生成软件的显著差异。
(7) BI 应用模式概览——数据挖掘(Data Mining)
数据挖掘是最高级的 BI 应用，因为它能代替部分人脑功能。
数据挖掘隶属于知识发现(Knowledge Discovery)在结构化数据中的特例。
数据挖掘的目的是通过计算机对大量数据进行分析，找出数据之间潜藏的规律和知识，并以可理解的方式展现给用户。
数据挖掘的三大要素是：
>> 技术和算法：目前常用的数据挖掘技术包括——
自动类别侦测(Auto Cluster Detection)
决策树(Decision Trees)
神经网络(Neural Networks)
>> 数据：由于数据挖掘是一个在已知中挖掘未知的过程，
因此需要大量数据的积累作为数据源，数据积累
量越大，数据挖掘工具就会有更多的参考点。
>> 预测模型：也就是将需要进行数据挖掘的业务逻辑由
计算机模拟出来，这也是数据挖掘的主要任务。
与信息类 BI 应用相比，以数据挖掘为代表的知识类 BI 应用目前还不成熟，但是从另一个角度来看，数据挖掘可发展的空间还很大，是今后 BI 发展的重点方向，SAS，SPSS 等知识类 BI 应用厂商形象逐渐高大，悄悄占据了新的利润增长点。
上图中是著名的 IBM Intelligent Miner 在分析客户的消费行为。它能对大量的客户数据进行分析，然后自动将客户划分为若干群体（自动类别侦测），并将每个群体的消费特征显示出来，这样决策者就能一目了然的针对不同客户的消费习惯，制定促销计划或广告计划。
上述功能如果单靠信息类 BI 应用来实现，则需要决策者根据经验进行大量的 OLAP 分析、数据查询工作，而且还不一定能发现数据中隐藏的规律。例如上述客户分类，对于一个拥有 400 万用户的银行来说，如果没有数据挖掘工具，会把人活活累死的。
(8) BI 底座——数据仓库技术(Data Warehouse)
在开始喷这个主题之前，让我们先看看数据仓库的官方定义：
数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策。以上是数据仓库的官方定义。
“操作型数据库”如银行里记账系统数据库，每一次业务操作（比如你存了5元钱），都会立刻记录到这个数据库中，长此以往，满肚子积累的都是零碎的数据，这种干脏活累活还不得闲的数据库就叫“操作型数据库”，面向的是业务操作。
“数据仓库”用于决策支持，面向分析型数据处理，不同于操作型数据库；另外，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
操作型数据库、数据仓库与数据库之间的关系，就像 C:、D: 与硬盘之间的关系一样，数据库是硬盘，操作型数据库是 C:，数据仓库是 D:，操作型数据库与数据仓库都存储在数据库里，只不过表结构的设计模式和用途不同。
那么为什么要在操作型数据库和 BI 之间加这么一层“数据仓库”呢？
一是因为操作型数据库日夜奔忙，以快速响应业务为主要目标，根本没精力伺候 BI 这边的数据需求，而且 BI 这边的数据需求通常是汇总型的，一个 select sum(xx) group by xx 就能让操作型数据库耗费大量资源，业务处理跟不上趟，麻烦就大了，比如你存了 5000 元钱，发现十分钟后钱还没到账，作何感想？一定是该银行的领导在看饼图？
二是因为企业中一般存在有多个应用，对应着多个操作型数据库，比如人力资源库、财务库、销售单据库、库存货品库等等，BI 为了提供全景的数据视图，就必须将这些分散的数据综合起来，例如为了实现一个融合销售和库存信息的 OLAP 分析，BI 工具必须能够高效的取得两个数据库中的数据，这时最高效的方法就是将数据先整合到数据仓库中，而 BI 应用统一从数据仓库里取数。
将分散的操作型数据库中的数据整合到数据仓库中是一门大学问，催生了数据整合软件的市场。这种整合并不是简单的将表叠加在一起，而是必须提取出每个操作型数据库的维度，将共同的维度设定为共用维度，然后将包含具体度量值的数据库表按照主题统一成若干张大表（术语“事实表”，Fact Tables），按照维度-度量模型建立数据仓库表结构，然后进行数据抽取转换。后续的抽取一般是在操作性数据库负载比较小的时候（如凌晨），对新数据进行增量抽取，这样数据仓库中的数据就会形成积累。
大多数 BI 应用并不要求获取实时的数据，比如决策者，只需要在每周一看到上周的周报就可以了，95% 的 BI 应用都不要 求实时性，允许数据有 1 小时至 1 个月不等的滞后，这是决策支持系统的应用特点，这个滞后区间就是数据抽取工具工作的时间。当然，BI 应用中通常还将包含极少的对实时数据的要求，这时仅需针对这些特殊需求，将 BI Querying 软件直接连接在业务数据库上就可以了，但是必须限制负载，禁止做复杂查询。
目前的数据库产品都对数据仓库提供有专门优化，例如在安装 MySQL 的高版本时，安装成序会询问你是想让数据库实例作为 Transaction-Oriented ，还是 Decision Support ，前者就是操作型数据库，后者就是数据仓库（决策支持么，再振臂高呼一遍），针对这两种形式，数据库将提供针对性的优化。
(9) BI 花边
BI 的相关知识大致就是这样了，写一些花边作为结束语吧。
BI 要害：BI 无法处理非结构化数据，只能处理数字信息，但是在企业中，还存在有大量像文本、流媒体、图片等非结构化的数据，这些数据同样蕴藏有大量价值，但是面对这些数据，目前的 BI 工具无能为力。比较靠谱的是 IBM Intelligent Miner for Text，但是它在处理中文方面似乎十分薄弱。
BI 厂商和产品：
首先让我们认识一下国外大人物！数据仓库方面，有 IBM DB2，Oracle，Sybase IQ，NCR Teradata 等等；BI 应用方面，有 Cognos，Business Objects，MicroStrategy，Hyperion，IBM 等等；数据挖掘方面，有 IBM，SAS，SPSS 等等。巨无霸 Microsoft 也在 BI 领域插了一腿，推出了 SQL Server Analysis Server、Reporting Services 等 BI 相关产品抢占山头！
我们往往容量只把眼光放在国外的BI大佬们而忽略国内渐渐突起的BI新军，如今国内比较出名的BI有奥威智动的Power-BI，尚南的BlueQuery 及润乾报表等，特别值得一提的是奥威智动的Power-BI是一款标准化BI，在国内已经具有一定的市场占有率。
中国的 BI 市场发展：
时间段
国内 BI 应用情况
2002 年以前
大量 BI 软件被看作是能从多个数据源中抽取数据的报表工作，满眼全是报表。
一开始，公司的销售在推销产品时都向用户介绍：“我们是 BI 领域最强的……”效果不好；后来那些销售终于找到了窍门，上来就说：“我们什么报表都能做！”然后订单不断。
2002-2003
OLAP 的价值终于被某些慧眼发现，一些竞争压力大的企业为了提高竞争力，迫切需要从历史数据中挖掘价值，迅速发现了 OLAP 的优势，这时销售终于不用再说“我们什么报表都能做”了。但是国家机关、垄断型企业，仍旧是报表，并且以为 BI 就是报表。
2004
随着越来越多成功 BI 项目的实施，OLAP 终于得以见天日，这时国内才形成数据查询+报表展示+OLAP分析的合理 BI 应用结构。一些数据可视化的需求也时常被用户提出，在一些竞争激烈、数据量大的企业，已经出现了数据挖掘应用。
2005
信息提供已经无法满足很多企业的要求，特别是银行、通信、证券等竞争激烈、风险密集的行业，大量涌现对数据挖掘的需求，BI 应用终于形成信息+知识的整体。
BI 工具在中国遇到的难题：
* 复杂表样：中国是世界上报表最复杂的国家。中国的表样设计思想与西方不同，西方报表倾向于仅用一张报表说明一个问题，而中国的报表倾向于将尽可能多的问题集中在一张报表中，这种思路直接导致了中国报表的复杂格式和诡异风格。
* 大数据量：中国是世界上人口最多的国家。以中国移动公司为例，仅我国一个省的用户数量，就相当于欧洲一个中等国家的人口，是真正的海量数据！国外数据库、数据仓库和 BI 应用软件，都在中国经受着大数据量承载能力的考验。对于美国，可能一个客户分析应用两秒钟就能出结果，但是在中国这样的数据量下，可就不是两秒钟的问题了。
* 数据回写：中国是世界上对 BI 系统要求最奇特的国家。本来 BI 系统是以忠实再现源数据为原则，但这个原则在中国遇到了难题，许多领导都提出了数据修改需求，“报表里数字不好看，就要能改啊，而且有时候也需要调整啊，这样上级领导看着就好嘛！ ”一个领导如是说。目前能满足此要求的 BI 产品，仅有 Microsoft 和 MicroStrategy 两家。微软对中国市场算是吃透了。
BI的体系架构及相关技术
| 一个BI系统为了满足企业管理者的要求，从浩如烟海的资料中找出其关心的数据，必须要做到以下几步： 1)为了整合各种格式的数据，清除原有数据中的错误记录——数据预处理的要求。 2)对预处理过数据，应该统一集中起来——元数据(Meta Data)、数据仓库(Data Warehouse)的要求； 3)最后，对于集中起来的庞大的数据集，还应进行相应的专业统计，从中发掘出对企业决策有价值的新的机会——OLAP(联机事务分析)和数据挖掘(Data Mining)的要求。 所以，一个典型的BI体系架构应该包含这3步所涉及的相关要求。 |
 |
| 图 3 BI的体系架构 |
| 整个体系架构中包括：终端用户查询和报告工具、OLAP工具、数据挖掘（Data Mining）软件、数据仓库（Data Warehouse）和数据集市（Data Mart）产品、联机分析处理 (OLAP) 等工具。 1）、终端用户查询和报告工具。 专门用来支持初级用户的原始数据访问，不包括适应于专业人士的成品报告生成工具。 2）、数据预处理(STL-数据抽取、转换、装载) 从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图。 3）、OLAP工具。 提供多维数据管理环境，其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析。 4）、数据挖掘（Data Mining）软件。 使用诸如神经网络、规则归纳等技术，用来发现数据之间的关系，做出基于数据的推断。 5）、数据仓库（Data Warehouse）和数据集市（Data Mart）产品。 包括数据转换、管理和存取等方面的预配置软件，通常还包括一些业务模型，如财务分析模型。 6）、联机分析处理 (OLAP) 。 OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。 其中核心技术在于数据预处理、数据仓库的建立（DW）、数据挖掘（DM）和联机分析处理（OLAP）三个部分。接下来，我们对这几个核心部分进行详细说明： 数据预处理： 当早期大型的在线事务处理系统(OLTP)问世后不久，就出现了一种用于“抽取”处理的简单程序，其作用是搜索整个文件和数据库，使用某些标准选择合乎要求的数据，将其复制拷贝出来，用于总体分析。因为这样做不会影响正在使用的在线事务处理系统，降低其性能，同时，用户可以自行控制抽取出来的数据。但是，现在情况发生了巨大的变化，企业同时采用了多个在线事务处理系统，而这些系统之间的数据定义格式不尽相同，即使采用同一软件厂商提供的不同软件产品，或者仅仅是产品版本不同，之间的数据定义格式也有少许差距。由此，我们必须先定义一个统一的数据格式，然后把各个来源的数据按新的统一的格式进行转换，然后集中装载入数据仓库中。 其中，尤其要注意的一点时，并不是各个来源的不同格式的所有数据都能被新的统一格式包容，我们也不应强求非要把所有数据源的数据全部集中起来。Why?原因很多。有可能原来录入的数据中，少量的记录使用了错误的数据，这类数据如果无法校正，应该被舍去。某些数据记录是非结构化的，很难将其转化成新定义的统一格式，而且从中抽取信息必须读取整个文件，效率极低，如大容量的二进制数据文件，多媒体文件等，这类数据如果对企业决策不大，可以舍去。 目前已有一部分软件厂商开发出专门的ETL工具，其中包括： Ardent DataStage Evolutionary Technologies,Inc. (ETI) Extract Information Powermart Sagent Solution SAS Institute Oracle Warehouse Builder MSSQL Server2000 DTS 数据仓库： 数据仓库概念是由号称“数据仓库之父”William H.Inmon在上世纪80年代中期撰写的《建立数据仓库》一书中首次提出，“数据仓库是一个面向主题的、集成的、非易失性的，随时间变化的用来支持管理人员决策的数据集合”。 面向主题是数据仓库第一个显著特点，就是指在数据仓库中，数据按照不同的主题进行组织，每一个主题中的数据都是从各操作数据库中抽取出来汇集而成，这些与该主题相关的所有历史数据就形成了相应的主题域。 数据仓库的第二个显著特点是集成。数据来源于不同的数据源，通过相应的规则进行一致性转换，最终集成为一体。 数据仓库的第三个特点是非易失性。一旦数据被加载到数据仓库中，数据的值不会再发生变化，尽管运行系统中对数据进行增、删、改等操作，但对这些数据的操作将会作为新的快照记录到数据仓库中，从而不会影响到已经进入到数据仓库的数据。 数据仓库最后一个特点是它随时间变化。数据仓库中每一个数据都是在特定时间的记录，每个记录都有着相应的时间戳。 |
 |
| 图 4 数据仓库体系架构 |
| 数据仓库对外部数据源和操作型数据源的元数据，按照数据仓库模式设计要求进行归类，并建成元数据库，相对应的数据经过ETL后加载到数据仓库中；当信息客户需要查询数据时先通过信息展现系统了解元数据或者直接浏览元数据库，再发起数据查询请求得到所需数据。 一个典型的企业数据仓库系统，通常包含数据源、数据存储与管理、数据的访问三个部分。 |
 |
| 图 5 数据仓库系统 |
| 数据源：是指企业操作型数据库中的各种生产运营数据、办公管理数据等内部数据和一些调查数据、市场信息等来自外环境的数据总称。这些数据是构建数据仓库系统的基础是整个系统的数据源泉。 数据的存储与管理：数据仓库的存储主要由元数据的存储及数据的存储两部分组成。元数据是关于数据的数据，其内容主要包括数据仓库的数据字典、数据的定义、数据的抽取规则、数据的转换规则、数据加载频率等信息。各操作数据库中的数据按照元数据库中定义的规则，经过抽取、清理、转换、集成，按照主题重新组织，依照相应的存储结构进行存储。也可以面向应用建立一些数据集市，数据集市可以看作是数据仓库的一个子集，它含有较少的主题域且历史时间更短数据量更少，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。 数据的访问：由OLAP(联机分析处理)、数据挖掘、统计报表、即席查询等几部分组成。例如OLAP：针对特定的分析主题，设计多种可能的观察形式，设计相应的分析主题结构（即进行事实表和维表的设计），使管理决策人员在多维数据模型的基础上进行快速、稳定和交互性的访问，并进行各种复杂的分析和预测工作。按照存储方式来分，OLAP可以分成MOLAP以及ROLAP等方式,MOLAP (Multi-Dimension OLAP)将OLAP分析所需的数据存放在多维数据库中。分析主题的数据可以形成一个或多个多维立方体。ROLAP (Relational OLAP)将OLAP分析所需的数据存放在关系型数据库中。分析主题的数据以“事实表-维表”的星型模式组织。 数据挖掘： 数据挖掘的定义非常模糊，对它的定义取决于定义者的观点和背景。如下是一些DM文献中的定义： 数据挖掘是一个确定数据中有效的，新的，可能有用的并且最终能被理解的模式的重要过程。 数据挖掘是一个从大型数据库中提取以前未知的，可理解的，可执行的信息并用它来进行关键的商业决策的过程。 数据挖掘是用在知识发现过程，来辩识存在于数据中的未知关系和模式的一些方法。数据挖掘是发现数据中有益模式的过程。 数据挖掘是我们为那些未知的信息模式而研究大型数据集的一个决策支持过程。 虽然数据挖掘的这些定义有点不可触摸，但在目前它已经成为一种商业事业。如同在过去的历次淘金热中一样，目标是`开发矿工`。利润最大的是卖工具给矿工，而不是干实际的开发。 目前业内已有很多成熟的数据挖掘方法论，为实际应用提供了理想的指导模型。其中，标准化的主要有三个：CRISP-DM；PMML；OLE DB for DM。 CRISP-DM（Cross-Industry Standard Process for Data Mining）是目前公认的、较有影响的方法论之一。CRISP-DM强调，DM不单是数据的组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。CRISP-DM将整个挖掘过程分为以下六个阶段：商业理解（Business Understanding），数据理解(Data Understanding)，数据准备(Data Preparation)，建模(Modeling)，评估(Evaluation)和发布(Deployment)。其框架图如下： |
 |
| 图 6 CRISP-DM模型框架图 |
| 从技术层来看，数据挖掘技术可分为描述型数据挖掘和预测型数据挖掘两种。描述型数据挖掘包括数据总结、聚类及关联分析等。预测型数据挖掘包括分类、回归及时间序列分析等。 1、数据总结：继承于数据分析中的统计分析。数据总结目的是对数据进行浓缩,给出它的紧凑描述。传统统计方法如求和值、平均值、方差值等都是有效方法。另外还可以用直方图、饼状图等图形方式表示这些值。广义上讲，多维分析也可以归入这一类。 2、聚类：是把整个数据库分成不同的群组。它的目的是使群与群之间差别很明显，而同一个群之间的数据尽量相似。这种方法通常用于客户细分。在开始细分之前不知道要把用户分成几类，因此通过聚类分析可以找出客户特性相似的群体，如客户消费特性相似或年龄特性相似等。在此基础上可以制定一些针对不同客户群体的营销方案。 3、关联分析：是寻找数据库中值的相关性。两种常用的技术是关联规则和序列模式。关联规则是寻找在同一个事件中出现的不同项的相关性；序列模式与此类似，寻找的是事件之间时间上的相关性，如对股票涨跌的分析等。 4、分类：目的是构造一个分类函数或分类模型(也常常称作分类器)，该模型能把数据库中的数据项映射到给定类别中的某一个。要构造分类器，需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成,每个元组是一个由有关字段(又称属性或特征)值组成的特征向量,此外,训练样本还有一个类别标记。一个具体样本的形式可表示为:( v1, v2, ...，vn；c )，其中vi表示字段值，c表示类别。 5、回归：是通过具有已知值的变量来预测其它变量的值。一般情况下，回归采用的是线性回归、非线性回归这样的标准统计技术。一般同一个模型既可用于回归也可用于分类。常见的算法有逻辑回归、决策树、神经网络等。 6、时间序列：时间序列是用变量过去的值来预测未来的值。 数据挖掘（Data Mining）软件。使用诸如神经网络、规则归纳等技术，用来发现数据之间的关系，做出基于数据的推断。 |
 |
| 图 7 数据挖掘系统 |
| 以下是一些当前的数据挖掘产品： IBM: Intelligent Miner 智能矿工 Tandem: Relational Data Miner 关系数据矿工 AngossSoftware: KnowledgeSEEDER 知识搜索者 Thinking Machines Corporation: DarwinTM NeoVista Software: ASIC ISL Decision Systems,Inc.: Clementine DataMind Corporation: DataMind Data Cruncher Silicon Graphics: MineSet California Scientific Software: BrainMaker WizSoft Corporation: WizWhy Lockheed Corporation: Recon SAS Corporation: SAS Enterprise Miner 联机分析处理（OLAP）： |