BI开发流程和ETL介绍

BI开发流程和ETL介绍

BI开发过程

1.       构建维度-事实模型
2.       根据维度-事实模型搭建数据仓库（维度、事实）
3.       数据抽取（ETL）
4.       构建分析模型主题
5.       搭建报表分析、仪表盘

一些概念

ODS stands for operational data store /SDS stands for Source Dependent Data Store. In this phase, a separate schema on the data warehouse database is maintained as a replication of the source transactional systems’ tables, deletes, as well as additional optimizations for incremental ETL. Each SDS requires its own separate schema because there can be multiple SDS each having the same object names. Typically, you would see a corresponding load plan step, "SDS Load Phase", in your generated load plan when you enable extraction from cloud sources, for example when extracting data from Fusion Cloud, Taleo Cloud, and so on. SDS Load Phase tasks extract data from cloud sources and stage it in SDS tables.

SDE stands for Source Dependent Extract. In this phase, SDE tasks extract data from the source system and SDS and stage it in staging tables. SDE tasks are source specific.

SIL stands for Source Independent Load. Load tasks transform and port the data from staging tables to base fact or dimension tables. SIL tasks are source independent.

PLP stands Post Load Process. PLP tasks are only executed after the dimension and fact tables are populated. A typical usage of a PLP task is to transform data from a base fact table and load it into an aggregate table. PLP tasks are source independent.

BI商业智能系统根据企业需要解决的问题，帮助企业建立相应的分析主题和分析指标，从业务系统的基础数据库中抽取需要的数据，按预先建立的业务模型进行分析决策，分析结果显示直观、形象。决策者只需要简单地点取操作，便可以从商业智能强大的销售分析工具中获得所需的决策信息。 

ETL中的E->(ODS->SDE->SIL)(强大的ETL工具)<=>ETL中的T-> ETL中的L->DW->BIEE(RPD物理)-> BIEE(RPD逻辑)-> BIEE(RPD展示)->报表

也可以根据报表来推出ODI接口中的表，对于个别表可以反推将表手工用数据采集平台导数。

 

实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面：

1、空值处理可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。

2、规范化数据格式可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。

3、拆分数据依据业务需求对字段可进行分解。例，主叫号861082585313-8148，可进行区域码和电话号码分解。

4、验证数据正确性可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。

5、数据替换对于因业务因素，可实现无效数据、缺失数据的替换。

6、Lookup查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。

7、建立ETL过程的主外键约束对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

 

Extract 通过接口提取源数据，例如ODBC、专用数据库接口和平面文件提取器，并参照元数据来决定数据的提取及其提取方式。

Transform 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。

Load 加载经转换和汇总的数据到目标数据仓库中，可实现SQL或批量加载。

 

整个流程问题查找

--缺失字段查找

--从报表---RPD---ODI（从SIL-SDE-ODS主要看源于目标的关系-F-FS-V）---视图对应其逻辑（视图找到其最基本的表来对数，查看关系）

 

--缺失记录对数

对数最主要是找到逻辑即视图，看视图里面是否对的上，对不上则往视图的的来源表找，最终确定是否有数，如果源表有数而视图没数则需要查看ODS层和其过滤器了，涉及主要有过滤器和逻辑的正确与否也包括事实表和维度表。

 

普通Oracle BI系统实施的总体系统结构如下：

此次BI系统实施数据主要来源有：

1．ORACLE EBS（ERP系统，取得实际数据）。

2．Hyperion Planning（海波龙预算系统，取得预算数据）。

3．Hyperion Financial Management（海波龙财务报表合并系统，取得抵消数）。

4．数据采集平台（取得Report Item, Mapping, 通用权限）。

 

Oracle Essbase BI 系统实施的总体系统结构如下：

工作中开发流程

1.熟悉需求分析

2.将表跑到ODS下面即为E

3.根据需求编写逻辑视图（不一定都是写视图也可以直接在ODI关联操作）即为T

4.根据需求建好D表和F表即为L

5.在RPD中建模

6.BIEE拖报表

另一种开发流程

主要不同于上面的在3/4步，这种流程不涉及SDE层，相对来说简单些，逻辑封装在DW接口中，只涉及ODS和SIL。