IBM 混合数据仓库架构介绍

当前，越来越多的企业正在考虑将其数据仓库迁移至云端，对于大多数企业而言，现有的数据仓库部署在本地的数据中心中，基于投资保护和数据安全的考量，无法将数据仓库整体迁移到云上。因此，一种混合型的，将本地和云端数据仓库整合的架构，成为大多数企业倾向并选择的部署方式。

如何将现有的本地部署的数据仓库进行改造和增强，并与云端的数据仓库进行深度的整合？IBM 在其云平台 Bluemix上提供了一系列的数据库/数据仓库技术，使得企业能够充分利用云计算带来的便利，存储并管理数据，并使其企业应用程序能够便利、安全地连接到数据仓库。

让我们通过下图来理解 IBM 的混合数据仓库架构，它是基于IBM 的数据和分析参考架构设计的。

在这个架构中：

1. 现有的数据容器中的数据将会被卸载至由云服务供应商提供的云端的数据容器中。

2. Secure Gateway安全网关边缘服务将被用于创建云服务提供商和企业自身IT环境网络之间安全的连接，该连接可以仅允许安全合规的数据库访问流量。

3. 数据集成服务，例如 DataWorks，被用于从数据源容器抽取比指定日期更旧的数据，并将其存储在临时的数据存储中。

4. 被抽取的数据最终会被存储在由Hadoop或者关系型数据库构建的，由云服务供应商提供的云端数据仓库中。

5. 对现有的企业应用程序进行改造，使其能够同时连接本地数据中心（内部）和云端（外部）的数据源。应用的查询会被调整，以访问不同数据源中的数据并进行整合（Union），因此应用程序仅需要非常小的修改即可满足要求。

这个架构充分满足了当前企业将IT架构向云端迁移的需求，并且解决了许多企业在实际部署数据和分析过程中遇到的问题，包括：

• 该架构能够同时支撑结构化、半结构化和非结构化数据，能够充分满足企业管理自身数据，并且从外部数据源获取数据的需要。
• 该架构提供了安全连接本地数据容器和云端数据容器的方式，企业无需担忧向云迁移可能带来的数据泄露风险。
• 该架构能够通过标准的SQL接口，连接和访问既有的数据容器和新设的云端的数据容器，并能够实现在单一SQL语句中对多数据源数据的连接访问。
• 该架构能够将查询扩展至多类型的数据存储，将查询扩展至多种不同类型的数据格式。
• 该架构具有良好的性能和可扩展性，并提供了多种数据存储的方案供用户根据实际需求进行选择。
• 该架构能够有效地降低存储和分析数据的成本，通过引入新型的数据分布式存储技术和云计算架构按需付费的部署方式，并降低运维成本，用户能够以更低的总体拥有车不过实现更为灵活，更具扩展性的数据存储和分析。

同时，这个架构也为用户为了数据的存储和分析提供了大量扩展的空间，从架构图中，我们可以发现，许多当前为灰色的部分，其实是未来用户的分析需求不断发展时，可能被引入的技术，包括：

• Streaming Computing：对于流数据的分析，借助部署在云环境中的流数据分析和处理技术，用户可以对实时生成的流数据（例如IoT数据，设备采集数据等）进行实时的分析，并通过数据集成将其落地进行进一步处理。
• Actionable Insight：通过SaaS或者本地部署的分析工具，从海量的数据中抽取出有价值的洞察力，从而对企业的业务提供指导。
• Transformation and Connectivity：用户被分成两个大类：企业用户和第三方用户。企业用户可以灵活地访问本地数据，或者通过VPN安全地访问位于云上的数据，数据可以通过直接访问获取，也可以以报表或者分析的形式提供。转换和连接网关能够根据不同的使用设备（例如移动设备、网页或者桌面系统）为企业应用准备所需的信息。
• Security and Information Governance：数据安全和管控子系统在数据分析和处理的每个阶段保证数据的安全和合规性。

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>