数据仓库和实时数据集市之间的区别?

几乎每个公司都存在数据仓库多年。 尽管它们仍然与20年前一样好,并且与相同的用例相关,但它们无法解决新的,现有的挑战,并且肯定会在不断变化的数字世界中出现。 接下来的部分将阐明何时仍然使用数据仓库以及何时使用现代Live Datamart

什么是数据仓库(DWH)?

数据仓库是来自不同来源的集成数据的中央存储库。 它存储历史数据 ,以为整个企业的知识工作者创建分析报告。 DWH包括存储历史数据的服务器和用于分析和报告的客户端。

ETL(提取-转换-加载)过程从同质或异类数据源(例如文件或关系数据库中提取数据,转换数据以将其以适当的格式或结构存储,以进行查询和分析。 数据通常是在长时间运行的批处理过程中从操作数据库传输到DWH。 当数据进入DWH时,它已经处于静止状态,并且已有几分钟,几小时甚至几天的时间。

广泛使用的DWH是Teradata,EMC Greenplum或IBM Netezza。 客户端(通常称为商业智能(BI)或数据发现工具)是服务器产品的一部分(通常仅用于报告,例如每周或每月的销售报告),或者是独立的解决方案(例如TIBCO Spotfire )为业务用户提供的轻松发现数据以发现新模式或其他见解的能力报告的示例包括从年度和季度比较和趋势到详细的每日销售分析。

最后,我们可以进一步将已部署并专注于单个主题或功能领域(销售,财务或市场营销)的某些数据仓库分类为Datamart。 接下来,我们探讨Live Datamart如何改善您的业务。

什么是Live Datamart(LDM)?

实时数据集市就像是数据仓库或从数据仓库派生的数据集市,但用于来自传感器,社交源,交易市场和其他消息传递系统的实时流数据 。 它提供了基于推式的实时分析解决方案,使业务用户能够分析,预测和接收关键事件发生时的警报,并在关键事件发生时采取行动 。 您可以在升级时管理和覆盖升级。

DWH的“静态数据库”的技术关键区别在于LDM服务器的连续查询引擎 ,该引擎可处理高速流数据,创建完全物化的实时数据表,管理来自客户端的临时查询并不断推送实时结果随着条件的实时变化。

流数据在一个用户界面( 单个LDM客户端)中被摄取,规范化和查看。 客户可以

  • 富客户端 ,通过“拖放”用户界面对表格,图表和查询提供开箱即用的支持
  • 使用Java或.NET API自行开发的自定义富客户端
  • 使用HTML5和JavaScript等标准将Web用户界面集成到网站,门户或移动应用程序中

从最终用户的角度来看,LDM客户端可以由高级用户使用,例如其笔记本电脑,大屏幕上的运营中心或使用平板电脑的客户现场人员。 当然,事件也可以自动进行处理(如果适用)(例如,用于向另一个系统发送警报)。

历史数据与实时数据的结合

当然, Live Datamart也可以连接到历史数据库并定义要针对该数据库执行的查询。 对于最终用户而言,LiveView使历史表看起来像实时表,这使用户可以通过一个用户界面以相同的方式访问实时和历史两种数据类型。 此外, Live Datamart还可以基于已捕获的实时数据轻松地填充历史数据库 ,无论是批处理日末负载还是并行捕获。 有关某些示例用例, 请参见此博客文章 。

TIBCO Live Datamart是市场上唯一可用的选项,您可以在其中将自动流分析和主动的人机交互与一个工具集结合在一起

什么时候使用哪个?

本质上,传统的数据仓库或Datamart可以帮助管理基于昨天的数据,而Live Datamart可以帮助管理日内数据。

数据仓库与商业智能工具结合使用,可以分析和报告历史数据 。 这样,您可以分析和比较有关收入,成本和其他KPI的不同策略,部门,财务数据,订单信息等。 您还可以在历史数据中找到模式,并通过针对新事件的流分析实时实现这些模式(例如,欺诈检测,预测性故障管理,交叉销售)。

使用Live Datamart实时管理发生的操作 ,而不是为时过晚。 这样,您可以更改营销策略,更改交叉销售报价,或者维修和更换机器和设备,这些设备(可能)很快就会失效。 Live Datamart不仅是用于监控的仪表板,而且是可行的!

总而言之,主要区别在于,Live Datamart可以在事件发生时自动主动地进行主动交互,并且可以与人为交互(以适当者为准)。 数据仓库仅允许分析已经发生的事件。

幻灯片和网络研讨会

这是讨论此主题的幻灯片:

数据仓库与实时数据集市–比较与差异
凯·瓦纳

接下来的15分钟点播网络研讨会包含讨论上述幻灯片的视频。

翻译自: https://www.javacodegeeks.com/2015/10/difference-between-a-data-warehouse-and-a-live-datamart.html

你可能感兴趣的:(数据仓库,数据库,大数据,java,python)