Flink CDC + Hudi 海量数据入湖在顺丰的实践

主要内容包括:

  1. 顺丰数据集成背景

  2. Flink CDC 实践问题与优化

  3. 未来规划

一、顺丰数据集成背景

Flink CDC + Hudi 海量数据入湖在顺丰的实践_第1张图片

顺丰是快递物流服务提供商,主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。

运输流程背后需要一系列系统的支持,比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器,都会产生大量数据。如果需要对这些数据进行数据分析,那么数据集成是其中很重要的一步。

Flink CDC + Hudi 海量数据入湖在顺丰的实践_第2张图片

顺丰的数据集成经历了几年的发展,主要分为两块,一块是离线数据集成,一块是实时数据集成。离线数据集成以 DataX 为主,本文主要介绍实时数据集成方案。

2017 年,基于 Jstorm + Canal 的方式实现了第一个版本的实时数据集成方案。但是此方案存在诸多问题,比如无法保证数据的一致性、吞吐率较低、难以维护。2019 年,随着 Flink 社区的不断发展,它补齐了很多重要特性,因此基于 Flink + Canal 的方式实现了第二个版本的实时数据集成方案。但是此方案依然不够完美

你可能感兴趣的:(综合技术探讨及方案专栏,flink,kafka,大数据)