DataHub: 现代数据栈的元数据平台的Metadata Ingestion Architecture【元数据摄取架构】讲解

数据治理平台系统文章：

1. DataHub: 现代数据栈的元数据平台的入门体验及填坑记录
2. DataHub: 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解
3. DataHub: 现代数据栈的元数据平台的Metadata Ingestion Framework【元数据摄取架构】讲解

架构图

• DataHub支持极其灵活的摄取体系结构。元数据摄取支持数据源主动推送、被动拉取两种方式，并支持采用同步或异步方式进行。
• 支持针对30+的数据源的元数据进行摄取，经过转换处理后，通过datahub-rest或datahub-kafka 存储到Datahub GMS中。
• 元数据的摄取和落地到GMS采用插件架构，很容易进行扩展。

详见下图：

中心部分是元数据更改事件(Metadata Change Event, MCE)，