数据中台方案

平台引擎

1. DataSphere Studio 基于插拔式的集成框架设计，及计算中间件 Linkis ，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。 在统一的 UI 下，DataSphere Studio 以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。

数据治理引擎

数据平台的数据治理：数据治理是一个大而全的治理体系。需要数据质量管理、元数据管理、主数据管理、模型管理管理、数据价值管理、
数据共享管理和数据安全管理等等模块是一个活的有机体。

1、数据质量: 依托Griffin平台，为您提供全链路的数据质量方案，包括数据探查、对比、质量监控、SQL扫描和智能报警等功能：
开源方案： Apache Griffin + ES + SparkSql

2、元数据: 描述数据的数据，对数据及信息资源的描述性信息，例如字段元数据描述字段的类型、长度、默认值。
发布：指将某一元数据发布为数据资产的动作。数据资产是指可以对外提供服务并且产生价值的数据。
表/字段血缘：即表/字段的来龙去脉，主要包含表/字段的来源、加工方式、映射关系及数据出口。血缘是元数据的一部分，
有利于数据变更影响分析以及数据问题排查。

开源方案： Apache Atlas + Spline + ES + Hbase + JanusGraph + Hive + Kafka

3、数据标准: 参考阿里的DataWorks，数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，
它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。
数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。
您可以将数据标准关联到各个业务上的数据库中。
其中，标识符、数据类型、表示格式、值域是数据交换的基础，它们用于描述表的字段元信息，规范字段所存储的数据信息。

暂无事实性标准的开源方案：Mysql + SpringBoot

4、数据服务：参考阿里的DataWorks, 数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。
数据服务为您提供快速将数据表生成API的能力，同时支持您快速注册现有的API至数据服务平台，进行统一的管理和发布。
数据服务已经与API网关（API Gateway）连通，支持一键发布API服务至API网关。
数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。
数据服务采用Serverless架构，您只需要关注API本身的查询逻辑，无需关心运行环境等基础设施，
数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。

开源方案：Apache Kong + Mysql + Lua + Postgresql + ES

数据采集引擎

1. 爬虫
2. Logan 开源的是一整套日志体系，包括日志的收集存储，上报分析以及可视化展示。我们提供了五个组件，包括端上日志收集存储 、iOS SDK、Android SDK、Web SDK，后端日志存储分析 Server，日志分析平台 LoganSite。并且提供了一个 Flutter 插件Flutter 插件

OLAP 联机分析处理引擎

1. Kylin
2. doris
3. clickhouse
4. Trino
5. calcite
   基于Kylin3.1.3 DataSourceSDK + Calcite进行开发

数据同步集成引擎

1. debezium
2. flink-cdc-connectors
3. flinkx (改名chunjun)
4. flume
5. datax

分布式存储引擎

数据平台的分布式存储引擎：存算分离譬如Kylin+Parquet 存算一体譬如CK

1. iceberg
2. hudi

机器学习 深度学习 ML 引擎

1. Flink ML