Pentaho技术白皮书中文版--使用开源工具 Unlocking ERP 数据

介绍

各个公司均投入了大量的资金在 ERP 应用上，如 JD Edwards，PeopleSoft 和 SAP。这些应用进行了很大的优化，以管理对他们的 business 来说很重要的每日操作。然而，他们不是被优化用以在其他系统间共享数据，他们也不支持对于数据的复杂研究。同时，我们也见证了开源 business intelligence (BI)工具能力的快速提高。这就提出来了问题，开源 BI 工具也能应用于 ERP 领域么？

这个白皮书详细介绍了使用开源工具 unlock ERP 数据。在 Ventana Research 最近的研究中，这样的方法的需求更清晰了。这个研究说：86% 的组织的 ERP 和 CRM 应用采用 pre­built 报表模板。在这篇文章中，简要探索了两种方法：

1) 运行于 ERP 应用数据库上的报表模板，和

2) 使用 ETL 抽取 ERP 数据，并装载 dimensional 表结构

方法

有 pros 和 cons，可使用 “Report Templates over ERP application databases” 或 “ETL extract and load of dimensional tables” 方法。表 1 列出了这些 pros 和 cons 的几个实例，更详细的讨论超出了本文的范围。

表 1 – Unlock ERP 数据的两个方法

Method	Pros	Cons
ERP 应用数据库上的报表模板	数据的直接访问(仅 correctSQL 是必需的) 数据是实时的。 没有必需的 ETL 层。 在单一数据库上完成所有报表。 利用现有数据库软件和硬件。	业务问题可能很复杂，而不能用一个 SQL语句来表达。 查询运行的时间可能很长。 查询大幅减慢或使事务系统崩溃。 查询不能包含其他系统的数据(内部或外部)。
ETL 抽取和装载Dimensional 表	为快速响应，将数据装载进dimensional 表结构。其可作为其后的数据挖掘，立方体，和dashboards 的基础。 将多个，异构系统的数据清理，并合并进一个数据库。	必须开发 ETL processes。 必须维护 ETL processes。 必须设计 Dimensional 数据库对象。 需要单独的数据库。 数据可能不是实时的。 可能需要 1 –2 个额外的服务器。

对大多数具有大量数据和适度复杂的报表需求的组织而言，“Report Templates over ERP application databases method” 不是很好的选择。然而，这个白皮书中还是包含了这个方法，作为可能的短期，战术解决方案。

原型

为适当的探索这些方法，构建原型，使用 Pentaho BI stack unlock 存储于 Microsoft SQL server 上的 PeopleSoft CRM 8.9 数据的子集。(任意选择了 SQL server作为 source DBMS，因为 PeopleSoft 可运行于 SQL Server，Oracle 或 DB2。)Pentaho 组件包括报表向导，Pentaho ETL (Kettle)，和 Pentaho OLAP (Mondrian)。使用的 Breadboard BI Solution Slices 包括 ERP Connects，ETL Maps，Data Models，Analysis Cubes，和 Dashboards。所有 Slices 来自Customer 360° Solution Area。

方法 1 – ERP 应用数据库上的报表模板

Pentaho Report Design Wizard 1.1.5 用于创建 sales order 报表模板。使用这个工具在 PeopleSoft CRM 应用上建立 stand-alone 报表快速简单。除向导外，还使用了 Breadboard BI ERP Connectors。这些 connectors（ERP 卖主之前的雇员所构建）包含 ANSI Standard SQL 语句，其易于编辑以适应不同实现。

按照以下总结的步骤安装向导，并创建第一个报表：

1.       从 Pentaho 网站下载并解压 Report Wizard.zip 文件，http://www.pentaho.org/download/latest.html

2.       添加 SQLServer JDBC drivers(文件名为 msbase.jar，mssqlserver.jar 和 msutil.jar) 进 “lib\jdbc\” path，Report Wizard 解压在此处。

3.       启动向导，并创建到 SQL Server 源数据库的一个连接，详细信息请看图 1。

图 1 – 创建一个 SQL Server 数据库连接

4.       将 Breadboard BI SQL 粘帖进 Query Details Box 中。详细信息请看图 2。

图 2 – Paste Breadboard BI SQL

5.       格式化并运行一个简单的报表。屏幕截图请看图 3。

图 3 – Breadboard BI Simple Report

方法 1 总结

不同于采用从源数据库直接吸取数据的方法内在的严重的局限性，方法 1 允许我们仅在几小时内就成功获取 ERP 数据。(后面的报表可在数分钟内创建)尽管在这个白皮书之外，使用 Pentaho 的新 Report Designer 工具生成的报表很复杂，图形展示上也很令人满意。

方法 2 - 空间表的 ETL 抽取和装载

Pentaho Kettle 2.3.0 ETL 工具用于从运行于 SQL Server 上的 PeopleSoft CRM 8.9 应用数据库抽取市场 basket/product 密切关系的数据。目标数据库是有Partitioning 功能的 Oracle 10g R2 企业版。Kettle 从各种开源(如 MySQL)和私有数据库中读写数据，因此选择写进 Oracle 目标库仅仅是为了方便(其运行于原型可用的开发服务器上)。Kettle ETL 服务器运行于和 Oracle 数据库同一台的服务器上。

按照以下 5 个总结的步骤安装 ETL 工具，构建目标 dimensional 数据结构，并构建 ETL 转换(maps)。

1.     从 Pentaho 的网站下载并解压 Kettle.zip 文件 - http://kettle.javaforge.com

2.     使用 Breadboard BI Market Basket Subject Area 数据模型创建目标空间数据库表。(数据库 DDL 生成于这个数据模型) market basket数据模型请看图 4。

图 4 – Breadboard BI Dimensional Data Model

3.     在 Spoon Kettle 组件中，为源和目标数据库分别创建新连接。目标数据库连接的详细信息请看图 5。

图 5 – 创建 Kettle ETL 连接

4.     对于每个 target dimension 和 fact table，创建一个 Kettle 转换。Breadboard BI ERP Connects 用在每个表输入步骤。以此方式使用，Connects 隐藏了源系统的复杂性，还将 join 和 filter 处理推到了通常很健壮的 ERP 应用数据库服务器。ETL 转换的图形化标识请参考图 6，其装载 FACT _MARKET _BASKET fact table。

图 6 – Breadboard BI ETL Map (Kettle 转换)

因为方法 2 将数据迁移进指定的数据结构中，这样添加分析立方体和 Dashboards 以探索和显示数据数据所隐藏的知识的过程就简化了。图 7 显示了一个 Breadboard BI分析立方体，其利用了 Pentaho OLAP。图 8 显示了使用 Pentaho BI 平台的一个 Breadboard BI dashboard。因为屏幕截图掩藏了真实的功能，读者可访问Breadboard BI 演示服务器，位于http://www.breadboardbi.com/demo.html。

图 7 – Breadboard BI Analysis Cube

图 8 – Breadboard BI Dashboard

方法 2 总结

Pentaho Kettle ETL 工具易于使用，有能力，可用于 unlock ERP 数据。source 和 target 大多数关系数据库平台和文件的能力，以及很多内置步骤，大幅辅助dimensional targets 的装载。从原型中就可以很清楚的看到，Kettle 支持快速 ETL 开发，也将辅助 ETL 代码的维护。当将这个 ETL 功能合并进 Breadboard BI Solution Slices，ERP 数据可快速添加进新的或现有数据仓库或数据集市中。最后，方法 2 的应用向组织开放了Analysis Cubes 和 Dashboards。很清楚，Pentaho技术和 Breadboard BI 内容的合并不仅提供了低开销的解决方案，也提供了可选择的技术superior 分析。

关于 Breadboard BI

Breadboard BI 由来自 packaged analytics 软件和商业智能咨询领域的经验丰富的专家组建。结合的专业技术包括客户关系管理(CRM)，finance，human capital 管理(HCM)/workforce，和供应链管理(SCM) 系统。Breadboard BI 的团队和客户的 business 和 IT 专家一起合作，增量构建商业智能系统，每当可行，尽量采用开源技术。结果是可扩展的，模块的，可维护的解决方案，其比 packaged analytic 或企业数据仓库解决方案花费的时间和金钱更少。我们的系统为各种规模和预算的组织提供高级分析服务。我们的网站是：http://www.breadboardbi.com。

关于 Pentaho

Pentaho 提供了完整的开源 Business Intelligence (BI) 能力，包括报表，分析，dashboards，数据挖掘，数据集成和 BI 平台。由经验丰富的团队组成，Pentaho 的任务是为 BI 市场提供创新的，高质量的技术和专业支持。Pentaho 在开发，分发和技术支持上采纳了革命性的方法，使得开源商业模型称位可能。Pentaho 的技术支持从销售和收益分析，客户分析，HR 报表，财会报表，KPI dashboards，供应链分析到 operational 报表的广泛范围内的商业初衷。更多信息请参考 Pentaho 网站，其位于：http://www.pentaho.org。