Gartner：DataOps驱动数据工程最佳实践精华

作者 | Chris Bergh

编译 | June

2023年1月24日，Gartner发布了Robert Thanaraj、Ehtisham Zaidi和其他两位作者的文章《增强数据工程实践的5种方法》，DataKitchen给出了他的观点。

Gartner在文章中指出，成功的数据工程团队面临两个关键挑战。

1、如何优化数据团队生产力——本质上，团队应该避免在有更多工作需要完成时添加更多机构。在不雇佣难以找到的数据工程人才的情况下，如何扩大组织规模？或者，正如我们的一位客户所说，“我如何在不增加员工（和成本）的情况下增加团队洞察力的总量？”

2、员工流动、压力和不愉快。数据团队的士气与DataKitchen自己的研究一致。我们调查了600名数据工程师，其中包括100名经理，以了解他们的工作情况和对工作的感觉。最终结果是，97%的数据工程师感到了倦怠。

Gartner数据工程增强文章概述

为了为Gartner的建议做好准备，让我们举一个新的数据工程经理Marcus的例子，他要在新职位上取得成功，面临着一系列挑战：

Marcus面临的问题：他的公司刚刚决定需要将行动与数据结合起来。几个月前，他负责了一个12人的小团队，团队成员包括一些数据工程师、科学家和分析师，但进展不太顺利。所有的数据工程工作都是手工完成的，每个人都在努力工作，努力服务开发请求并完成生产任务。但新的工作还没有完成，数据错误就又出现了。更糟的是，几周前团队中最有才华的一个人离职了。因此，一名级别较低的成员开始负责修改生产管道，由于该系统的详细知识现已不在公司，因此修改和系统未得到充分验证，更新后的系统不仅推迟了，而且在两周内还产生了不少糟糕的数据。

Gartner对像Marcus这样的新数据工程领导有何建议？让我们看看这篇文章的主要建议。

1、采用数据运营实践：“成功的数据工程团队是跨职能的，并采用数据运营的实践。”

2、首先关注客户价值：“关注业务价值而不是技术增强的企业……在优先考虑数据交付需求方面效率更高。”

3、通常以低风险发布新的数据工程工作：“测试和发布过程是大量的手动任务……快自动化这些过程。”

4、使用可重复使用的模块制作可信数据产品：“许多组织都在运行单片数据系统和流程，这大大降低了他们的数据交付时间。”

5、为自助服务创建生产路径：“业务用户通过自助数据准备来探索数据，很少有人建立把关流程，让这些工作负载交付给生产。”

Gartner建议的关键要素很简单，不要在团队中雇佣更多的人。

“因为增加更多的数据工程师来响应不断增长的数据请求，并不是一个可持续的解决方案，所以企业必须开始投资于DataOps实践，以简化和扩展数据交付流程。”这是在经典的“神话人月”中为软件团队提供的数据团队建议。Brooks法则：“向进度落后的项目中增加人手只会使进度更加落后。”

难道Marcus不应该考虑升级他的技术吗？包括更好的ETL工具、数据库、选择一些其他热门工具？他的团队已经使用了Azure，并使用ADF、Synapse、PowerBi和一些强大的Azure数据科学工具。Gartner明确表示，团队应该“关注业务价值，而不是技术改进”。

Marcus不会通过帮助他的团队更快地编写SQL来解决他的难题。生产力不是通过每个数据工程师的手指来实现的；而是要围绕这些工程师构建一个系统，该系统允许他们以最小的错误运行生产，并快速、低风险地将产品投入生产，从而专注于让客户成功。

Marcus继承了一个团队，在这个团队中，个人“英雄”将数据分析作为一组没有一致性或管理的辅助项目。他看到了在这个新角色中有所作为的机会，但几乎没有测试，也没有一致的部署过程，每个人都在忙于通过不断追踪生产系统中的错误来保障运行。这些错误导致该公司的领导对其团队生产的数据产品失去了信心。他的团队经常延迟交付，并管理70个独立的每周工作，以吸收、转换、可视化并向客户交付结果。

Gartner建议的第二个要素是关注团队的日常开发工作，以提高可重用性、质量和交付速度。

让团队专注于以微小的增量为客户提供价值。以低风险快速学习、改进和迭代（通过客户反馈）。专注于代码和模式重用以及扩展的DataOps自动化。如果Marcus认真考虑Gartner的建议，他必须在团队的日常数据工程任务中添加一组任务。除了描述客户的需求外，每个用户故事（或功能规范）还将包括以下要求：

1、在一个小时内更新和发布对数据工程代码/配置的更改，而不会中断操作，也没有错误。

2、寻找自动化和重构的机会。数据显然对数据工程团队至关重要，但处理数据的代码（或工具配置）同样重要。这些代码很复杂，构建具有模块化、可重用组件的分析数据系统。构建对数据幂等的组件，并使用脚本化自动化工具自动化部署或测试中的那些手动步骤。

3、将项目的“完成”定义为生产和为客户交付价值。“完成”并不意味着“它在我的机器上运行”，也不意味着“我完全遵循了我们的SLDC项目。”您正在构建能够存活数年的数据产品，他们必须不断改进。

4、自动观察生产运行情况，以满足客户的需求（及时性、质量等），并确保数据产品可信，在用户之前发现生产中的数据和系统错误。

5、不要把你的工作抛到生产操作上。让数据工程师“构建并运行”自己的系统，或在整个过程中整合运营团队。

如果你是一个数据架构师（或者聘用一个数据架构师），你可能已经有了解决这些需求的创造性想法。你必须改变为客户提供价值的含义，当你设计了灵活性、质量、快速部署和实时数据监控（除客户需求外）时，将转向以DataOps为中心的数据工程实践。

Gartner建议的最后一个要素是为自助服务用户提供生产路径。

当Gartner建议你的团队将“客户价值”放在首位时，意味着什么？数据工程团队通常在中心辐射或数据支持组织模型中向一个或多个自助服务团队提供服务。这个想法有时意味着自助服务团队对数据工程师团队的影响——你的团队从提供业务价值中得到的只有指责，没有功劳。如果你换个角度怎么办？自助服务是发现数据分析中最有价值的商业机会的绝佳方式。这些自助服务工具是快速证明业务价值的好方法吗？你的团队如何帮助用户有价值的、可持续地走向生产之路？

其中一些自助服务项目最终将“获得进入生产的权利”。数据工程团队的工作是找到方法，将这些有价值的想法封装在一个包含自动化测试、端到端可观察性和脚本自动化的数据操作包中。正如Gartner所言：“通过必要的网关协议将重复的数据准备工作负载推广到生产中”既安全又高效。请记住，基于敏捷流程的全部目的是最大化你不必做的工作——自助服务节省了团队猜测业务客户需求所浪费的时间。

另外：建议始于DataOps的可观察性。

其实早已有很多数据工程团队采用了DataOps实践，通过调查得出的结论是对任何团队而言，最好的“第一步”是启用DataOps可观测性能力。在Gartner所讨论的所有耗时和瓶颈工作中，最耗时的就是允许生产中出现错误，这大大消耗了用户的信任，导致了很多问题和返工，并在开发团队中产生了恐惧。

太多的团队有脆弱的、未受监控的生产系统，导致用户发现数据或报告存在问题。通过端到端的DataOps 可观察性消除这些错误，使团队能够进行Gartner建议的开发流程更改（跨职能协作、价值优先、流程自动化、模块化、可重用性、自助服务运营重点）。

Marcus认为实施DataOps实践是他的出路。然而，在投入所需的时间来实现更自动化的DataOps流程之前，他必须通过减少团队追踪生产问题和重构不良工程所花费的精力来利用这些时间。通过DataOps可观测性功能自动观测管道技术、数据质量和SLA将减轻团队的负担，并使Marcus能够通过更好的DataOps实践提高团队的生产力和客户体验。

数据运营新模式--DataOps

总结：10倍于你的数据工程游戏。

如果一个团队执行Gartner建议的策略，可能会带来什么好处？Gartner在评估价值的文件中包含了战略规划假设。“到2025年，以DataOps实践和工具为指导的数据工程团队的生产力将比不使用DataOps的团队高十倍。”这一点与智领云云原生DataOps实践的目标及用户体验是一致的，智领云推出的新一代在线DataOps大数据平台，是企业在实现数据驱动的首选，数据团队可以体验到的开箱即用、操作简单、高效协作……促使其生产率大大提高。

我们看到，一些关键促成因素促使生产率提高了10倍。第一个是通过自动化的端到端可观测性减少生产中的误差。第二个是通过自动化测试减少部署到生产的周期时间和风险。第三个是自动化，支持受管理的安全、自助式开发环境。当这些促成因素被实施时，例如通过智领云云原生DataOps产品BDOS Online，团队将更快地工作，产生更高质量的结果，团队和数据工程师们也就更加快乐啦。​​​​​​​

免费试用

原文链接

https://datakitchen.io/gartner-5-ways-to-enhance-your-data-engineering-practices/