BI(商业智能) 学习笔记

BI(商业智能) 学习笔记

BI定义

商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、联机分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

数据仓库（DW或DWH）

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

联机分析处理（OLAP）

1. 联机分析处理是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。
2. 它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户无需编程就可以定义新的专门计算，将其作为分析的一部 分，并以用户所希望的方式给出报告；M是多维性(Multi—dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息。
3. OLAP使用户能够即时以交互方式对相关数据子集进行“切片和切块”。同时，OLAP功能，比如向上钻取、向下钻取、或任意挖掘（跨业务维度）、透视、排序、筛选、以及翻阅，可用于提供关于绩效的基本详细信息。最为重要的是它能够回答存在的任何业务问题。这意味着调查深入到单个或多个数据仓库中可用的最原子级别的详细信息。
4. OLAP的基本多维分析操作有钻取（Drill-up和Drill-down）、切片（Slice）和切块（Dice）、以及旋转（Pivot）等。
   • 钻取：是改变维的层次，变换分析的粒度。它包括向下钻取（Drill-down）和向上钻取（Drill-up）/上卷(Roll-up)。Drill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而Drill-down则相反，它从汇总数据深入到细节数据进行观察或增加新维。
   • 切片和切块：是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个或以上，则是切块。
   • 旋转：是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。
5. 数据仓库与OLAP的关系是互补的，现代OLAP系统一般以数据仓库作为基础，即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取。OLAP系统按照其存储器的数据存储格式可以分为关系OLAP（RelationalOLAP，简称ROLAP）、多维OLAP（MultidimensionalOLAP，简称MOLAP）和混合型OLAP（HybridOLAP，简称HOLAP）三种类型。

   • ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化，比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等等。

   • MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。由于MOLAP采用了新的存储结构，从物理层实现起，因此又称为物理OLAP（PhysicalOLAP）；而ROLAP主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟OLAP（VirtualOLAP）。

   • 由于MOLAP和ROLAP有着各自的优点和缺点（如下表所示）,且它们的结构迥然不同，这给分析人员设计OLAP结构提出了难题。为此一个新的OLAP结构——混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP两种结构的优点结合起来。迄今为止，对HOLAP还没有一个正式的定义。但很明显，HOLAP结构不应该是MOLAP与ROLAP结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求。

数据挖掘

1. 数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
2. 数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

OLTP & OLAP

1. OLTP(Online Transaction Process，在线事务处理），是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理指的就是系统运行了一段时间以后，必然帮助企事业单位收集大量的历史数据。我们目前所使用的大部分应用都属于OLTP，如CRM、ERP、OA、PRM等。但是，在数据库中分散、独立存在的大量数据对于业务人员来说，只是一些无法看懂的天书。业务人员所需要的是信息，是他们能够看懂、理解并从中受益的抽象信息。
2. OLAP（On-Line Analytical Processing，联机分析处理），侧重于针对宏观问题，全面分析数据，获得有价值的信息，它的技术核心是"维"这个概念。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。
3. OLAP需要配合OLTP使用，OLTP系统长期使用产生的历史数据为OLAP提供了可供拆分和分析的数据源

实施步骤

实施商业智能系统是一项复杂的系统工程，整个项目涉及企业管理，运作管理，信息系统，数据仓库，数据挖掘，统计分析等众多门类的知识. 因此用户除了要选择合适的商业智能软件工具外还必须按照正确的实施方法才能保证项目得以成功. 商业智能项目的实施步骤可分为：
（1）需求分析: 需求分析是商业智能实施的第一步，在其他活动开展之前必须明确的定义企业对商业智能的期望和需求，包括需要分析的主题，各主题可能查看的角度（维度）； 需要发现企业那些方面的规律. 用户的需求必须明确.
（2） 数据仓库建模：通过对企业需求的分析，建立企业数据仓库的逻辑模型和物理模型，并规划好系统的应用架构，将企业各类数据按照分析主题进行组织和归类.
（3）数据抽取: 数据仓库建立后必须将数据从业务系统中抽取到数据仓库中，在抽取的过程中还必须将数据进行转换，清洗，以适应分析的需要.
（4） 建立商业智能分析报表：商业智能分析报表需要专业人员按照用户制订的格式进行开发，用户也可自行开发（开发方式简单，快捷） .
（5） 用户培训和数据模拟测试： 对于开发—使用分离型的商业智能系统，最终用户的使用是相当简单的，只需要点击操作就可针对特定的商业问题进行分析.
（6） 系统改进和完善：任何系统的实施都必须是不断完善的. 商业智能系统更是如此，在用户使用一段时间后可能会提出更多的，更具体的要求，这时需要再按照上述步骤对系统进行重构或完善。