现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单

Dazdata MDS

Mozart Data创立于2020 年，已成功为 Clover Health、Eaze、Opendoor 和 Yammer 等高增长初创企业构建和实施数据管道和工具，是用于集中、组织和分析数据的一体化现代数据平台。

​

背景

随着公司跨部门积累更多数据——用户资料、订单详细信息、营销指标等。— 它达到了这样一个地步，即使用人力资源（通常是分析师或工程师）手动拉取、合并、清理和组织数据集不再具有良好的商业意义。如此繁重的任务经常使熟练而昂贵的员工远离需要他们专业知识的不可转移的高价值工作。幸运的是，技术更适合执行此工作流程。

现代数据平台及其中的数据平台服务（有时称为数据平台即服务）使公司能够从员工转向技术，同时通过集成和自动化优化其数据管道。在本文中，我们将解释现代数据平台的组件、最常用的数据平台服务，以及MozartData工具如何帮助企业更快、更好地建立端到端数据管理。

什么是现代数据平台？

术语“现代数据平台”可以被认为是完整的软件包。它包括数据管道的必要核心组件，统称为现代数据堆栈：ETL（提取、转换、加载）、数据仓库和数据转换层。当企业扩展到现代数据堆栈之外时，他们正在添加数据平台服务，其中包括数据可靠性、数据可观测性和数据编目。

需要注意的是，现代数据平台与客户数据平台 （CDP） 不同，后者创建了一个客户接触点和交互的集中式数据库。

如何设置现代数据堆栈的组件？

可以通过两种方式为您的企业创建现代数据堆栈：组装一系列单独的解决方案或选择多合一工具如MozartData。

采用第一种方法的公司通常认为它具有成本效益，因为他们通常会随着时间的推移而增加零件，因为他们觉得需要它们。渐渐地，他们朝着多合一工具的功能努力。但是，这样做会迫使企业继续依赖手动工作来处理现代数据堆栈中缺少的部分;这就是数据工程师经常需要的地方。连接这些工具并维护通过它们的数据流也经常需要工程师的支持。不建议采用这种零敲碎打的方法，因为事实证明它既没有效率也没有成本效益。

一体化工具使企业能够将工作量从人员无缝转移到技术上，而不是在构建阶段效率低下。此外，现代数据堆栈的基本工具是相互关联的，并且在共同运营时可以作为技术解决方案和支持公司的业务目标时发挥最佳作用。这就是为什么选择像莫扎特数据这样的开箱即用的集成工具既高效又具有成本效益的原因，它使用 Fivetran 支持 400+ 数据连接器，使用 Snowflake 提供数据仓库，以及基于 SQL 编辑器构建的数据转换层。莫扎特数据的现代数据堆栈可以由那些几乎没有技术专长的人建立，并且成本只是其他选项的一小部分，这要归功于Snowflake和Fivetran的合作伙伴折扣。我们的解决方案还包括数据可观测性、数据可靠性和数据编目，因此您可以将这些工具与数据平台策略联系起来。

数据可观测性作为数据平台策略的一部分

如前所述，添加数据平台服务时，新式数据堆栈将扩展到新式数据平台。其中最重要的是数据可观测性。

数据可观测性使你能够监视数据的运行状况，并快速识别问题及其来源，例如数据转换错误或未同步的相关表。将数据可观测性作为数据平台服务，利益干系人可以查看整个数据管道中的数据沿袭，包括源表、这些表的数据转换、生成的表、版本历史记录以及依赖项的快速概览视图。

拥有快速可视化指南，使您能够了解数据沿袭，这也使自动化更加可行，因为它可以帮助您决定执行同步数据源和运行转换等操作的频率。例如，您将能够轻松识别哪些源表用于多个不同的数据转换，并且您可能决定更频繁地更新这些源表。同样，如果您的仓库中有可供访问的数据，但没有进行主动转换，则可以决定不每天同步这些表，从而使用 Fivetran 节省每月的活动行。

数据可靠性作为数据平台战略的一部分

数据驱动始于数据可靠性。您需要能够相信您的企业正在使用的数据是完整、准确和最新的。只有这样，您才能对根据这些数据创建的分析和建议充满信心。数据可观测性和可靠性是企业数据平台架构的连接部分，因为前者使您能够扫描管道的可视化并确认没有任何损坏。

您的数据平台公司应将警报作为数据可靠性服务的一部分，因为它们可以帮助企业主动捕获和调试问题。有两种重要的警报类型。

1. 自动警报：如果表上满足某些条件，这些警报允许您收到通知。例如，如果指定列中缺少值，或者值超过定义的数量，则可能会标记错误或里程碑成就。

2. 转换测试警报：如果转换出现问题，这将通知你并暂停该过程。例如，如果数据过期或跟踪结果（如异常高或低的返回值），您可以收到警报。

数据编目作为数据平台策略的一部分

编目可组织数据资产（标记、标记和文档），使其更易于理解、查找和使用。这对于扩展团队尤其重要，因为它为每个人提供了共享词汇表和查找所需信息的有效方法。

有助于数据编目的功能包括创建表和转换的标记、说明和注释。个人可以收藏表并轻松查看最近访问的表，以立即回答业务问题。

如何使用MozartData建立现代数据平台

如果没有大量的人力资源，手动管理所有这些数据平台服务几乎是不可能的，这就是我们为您管理的原因。MozartData提供了一个开箱即用的现代数据平台，该平台具有内置的技术集成和工具，可实现可观测性、可靠性和编目，因此组织中的任何人都可以查找和使用完整、准确和最新的信息。当个人拥有这些能力时，无论他们是否非常技术化，您都可以节省他们和业务时间，并确保他们从事有影响力的项目。

我们直观的工具使您的团队可以轻松地从手动数据管理转向自动化，并快速开始使用上述数据服务。