火山引擎 DataLeap：数据秒级生产，揭秘电商实时数仓最佳实践！

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

一年一度的「三八大促」刚刚落下帷幕，各大电商平台纷纷推出补贴、营销等玩法，力图推动持续增长。而电商平台持续增长，离不开数据驱动，特别是实时性数据的采集、治理、监测和分析。

例如，主播如何实时获取直播带货数据？运营如何监控促销活动流量？商家如何监控大促期间交易额以及货品库存变化？本篇文章将带你走进某电商实时数仓团队，揭秘电商场景下实时数仓经验。

实时数仓建设为电商场景精细化运营提速

“对于传统离线数仓，时效性基本为 T+1，最快也为小时级，而业务方希望‘所见即所得’，以满足精细化运营和实时经营决策的诉求”，某电商实时数仓团队这样介绍。

除此之外，从传统离线数仓到实时数仓，也面临着不少技术难题。实时数仓依托的流计算技术、Flink 等数据引擎技术依然在不断完善中。在数据治理层面，实时数仓依赖的组件也非常多，从计算引擎 Flink，数据存储 MQ、在线存储 Abase、Redis 、服务查询 ClickHouse，各种存储及组件都在治理范围内导致实时数仓的建设和管理工作异常复杂。

为了解决以上问题，电商实时数仓团队引入火山引擎 DataLeap 实现对数据任务托管，覆盖代码编写、调试、自测、上线以及运维等开发阶段。一方面降低了开发成本，以往流表的 DDL 需要自定义编写，DataLeap 数据地图能力使用户可以免除 DDL 的编写，把精力专注在业务逻辑；另一方面，在数据测试环节，DataLeap 也支持构建测试用例，使得测试逻辑更加便捷。

电商实时数仓需求对接流程图

通过精确到秒级的数据精准、快速采集，支撑了海量电商的实时性需求，满足电商生态上下游在实时监控、实时分析、实时营销等方面的诉求。

• 对于商家，可以实时监测直播带货数据效果，以此调整货品上架及促销策略；

• 对于运营人员，实时监控促销活动效果，更好进行人-货运营，辅以相关策略提升 GMV；

• 对于用户，实时获取价格变动信息、购买信息、物流信息，获得更好购物体验和售后支持。

火山引擎 DataLeap 赋能电商场景数据标签建设

电商体系不仅涉及的数据量级大，数据种类更是庞杂，包括销售、库存、广告、财务等多种类型。构建数据标签体系能够科学地组织电商数据，有效萃取和精炼数据服务，并对数据分类进行反向优化。

如何才能构建一套有效的业务标签体系？

• 首先，从业务视角对数据进行梳理，并将各渠道、各类型的数据进行采集和汇聚，从中提炼出标签元素，大致由以下几个部分组成：应用场景、模型分层、主题域，每个标签由若干枚举值组成。

• 其次，根据任务的行为元素给任务打上相应的“标签”，这也是标签建设的难点。通过人工打标无疑需要巨额工作量，同时也存在人工操作误差。电商实时团队基于火山引擎引擎 DataLeap 打造了一套数据血缘应用平台，在数据溯源的过程中找到任务与任务之间的联系，上游节点任务标签将自动继承给下游任务，由此实现快速、准确标记工作。

• 最后，引入火山引擎 DataLeap 数据开发能力实现任务标签高效管理。电商实时团队通过 OpenAPI 接口快速接入标签管理能力，对已上线任务进行快速标记，完成任务分类。

火山引擎 DataLeap 任务标签管理

随着数字化转型提速，每一家企业都迫切希望能够变得更加高效，更加敏捷，以便能够做出更明智的决策，提供更优质的服务，这也对数据处理的实效性有了更高的要求。

实时数仓作用在业务运营的诸多典型场景中，如实时报表、实时大屏、运营监控、实时营销、实时风控等。未来火山引擎 DataLeap 也将沉淀更多高效、易用、便捷支持实时数仓场景的工具和能力。