Gartner DataOps 软件市场指南

作者 | Chris Bergh

翻译 | June

DataOps 这一术语是由Data and Operations （数据和操作）合成而来，由莱尼·利伯曼在2014年的一篇题为《DataOps对大数据成功至关重要的三个原因》的博客中首次提出，但真正得以普及是他在2015年发表的博客《从 DevOps 到 DataOps》后。从那时起，人们对 Gartner 2018 年数据管理的“炒作周期”越来越感兴趣。

作为一种相对较新的方法，Gartner 将 DataOps 定义为一种数据管理实践：

一种协同式的数据管理活动，侧重于提升整个组织中数据管理者和数据使用者之间围绕数据流的沟通、集成和自动化水平。DataOps的目标是实现数据、数据模型以及相关数据产品的按期交付和变更管理。DataOps运用技术手段统筹和自动化数据生产过程，保障数据安全，让质量和元数据达到适当的水平，从而在动态环境中提升数据的使用价值。

DataOps 中的“Ops”是一个重要的提醒，实际上，数据交付和数据管道也只是涉及多个团队的大型数据应用程序的一个组成部分。因此，DataOps 必须包含应用程序用例，从数据获取使用的整个数据生命周期中涉及的每个团队，以及最终结果。

尽管术语“ DataOps”已经出现了九年之久，但依旧是最佳分析的应用。研究公司Gartner称这是一个主要趋势，涵盖了数据生命周期中的多个步骤。

就像开发人员的技术趋势一样，领导者要与开发人员之间的协作，团队之间的协作，团队之间的协作，DataOps中的数据引用将团队之间的紧密协作与应用程序之间的紧密协作和部署与各个处理数据之间进行更紧密的协作。

近日，Gartner发布了《DataOps工具市场指南》，他们撰写的这份文件与我们市场上看到的以及我们的产品所做得非常接近。接下来，我们就来看一看DataOps工具相关介绍。

市场定义

DataOps工具在数据管道的全生命周期管理中提供了更大的自动化和灵活性，以简化数据操作。DataOps的核心功能包括：

• 编排：连接、工作流自动化、沿袭、计划、日志记录、故障排除和警报

• 可观察性：监控实时/历史工作流，深入了解工作流性能和成本指标，影响分析

• 环境管理：基础设施即代码、资源调配、环境存储库模板、凭据管理

• 部署自动化：版本控制、发布管道、审批、回滚和恢复

• 测试自动化：业务规则验证、测试脚本管理、测试数据管理

我们很高兴Gartner发布了“DataOps工具市场指南”，他们发布的内容与我们在市场上看到的以及我们的产品所做的非常接近，这份内容很重要，因为买家可以向Gartner咨询如何购买IT软件。让我们感到很激动的主要是这两件事：

首先，DataOps不同于所有的数据分析工具。八年前当时流行的还是Hadoop、数据备份和数据湖，国外就已经有厂商开始讨论——是否会有一个“操作”层位于所有当前的数据工具旁？我们可以在下图中看到，Gartner认为DataOps工具与构成当今典型数据堆栈的各种数据库/ETL/viz/AI/治理工具不同。

其次，DataOps软件解决方案的组件与我们对市场和产品功能的看法非常匹配。在国外另外一种争论是：使软件团队成功的DevOps工具会应用于数据团队吗？还缺少什么？如果可以那关键组件是什么？DevOps与DataOps有何不同？我们应该构建什么软件？

以下是Gartner所说的DataOps软件的关键组件：

• DataOps自动化，如连接到数据堆栈等功能…工作流和发布自动化

• 编排：连接、工作流自动化、沿袭、清单、日志记录、故障排除和警报

• 环境管理：基础设施即代码、资源调配、环境存储库模板、凭据管理

• 部署自动化：版本控制、发布管道、审批、回滚和恢复

• 测试自动化：业务规则验证、测试脚本管理、测试数据管理

• DataOps可观察性，对提供“单一窗格”的工具进行优先级排序。

• 可观察性：监控实时/历史工作流，深入了解工作流性能，以及成本指标影响分析

Gartner非常注重客户驱动，他们之所以撰写这份报告，是因为他们看到DataOps分析师查询的年增长率为40%。目前已经有几十家供应商属于更大的DataOps类别，这对行业中的每个人来说都是一个极好的结果。本文档是Gartner、Forrester、Eckerson和其他分析师撰写的关于DataOps自动化、测试和可观察性的众多文档之一。

正如Gartner提到的：

“到2025年，一个以数据行动实践和工具为指导的团队的生产力将是不使用数据行动的团队的10倍。”

综上可见，大家应该清楚地知道DataOps 工具对于企业来说有多重要。那么如何使用DataOps，又如何挑选DataOps工具呢？那么，目前由国内企业大数据平台解决方案提供商智领云自主研发的新一代在线DataOps大数据平台--BDOS Online，就具备完备的 DataOps 能力，其数据可观测、可管理、可发现，可以观测数据基础设施、数据流和数据本身，从而快速帮助企业更好的运用数据。当然这只是BDOS Online的优势之一，详情大家可以扫描下方二维码并领取试用机会。

具体来看，云原生技术下的DataOps方法论实践，以云原生的方式在平台上运行大数据应用，使数据不再孤立地分布于多个云的孤岛中，可以从任何地方流畅安全地进行移动，并以一致、整体的方式管理数据从准备到报表阶段的整个生命周期。

参考链接：https://datakitchen.io/gartner-market-guide-to-dataops-software/

- FIN -       

更多精彩推荐

• 一文读懂：什么是DataOps可观察性？

• 和ChatGPT聊了聊BDOS Online，结果……
  

• Kubernetes使用现状，直面数据管理问题和挑战

• 真正的云原生大数据平台，让Kubernetes又牛了一把

• 国家数据局成立，为云原生大数据平台提供新机遇

点击阅读原文，详细了解DataOps 能力