跨库合并数据（数据联邦）

目录

一 概述

二 操作

1 定义数据接口

2 选择合并数据

3 预览分片数据

4 合并MySQL与SQL Server分片数据

5 合并文本数据

6 主题数据入库

---

一 概述

BeeDI支持跨库合并数据功能（数据联邦），多个数据源（异构数据库、Hadoop、文本、Xml、Excel文件）数据无需落地到某一数据库，直接在内存进行关系运算产生合并后的数据，相较于传统落地方式（数据集中存入同一数据库后使用SQL关联数据），数据联邦提供更快捷、更高效的数据处理能力。

二 操作

下面对分布于MySQL、SQL Server、文本文件中的数据分片进行合并，形成统一的主题数据

1 定义数据接口

在BeeDI中新建ETL任务，定义需要合并的数据接口（涉及MySQL、SQL Server、文本文件）。

2 选择合并数据

依次从各个数据接口中选择将要合并的数据，如下所示

3 预览分片数据

MySQL数据

SQL Server数据

文本数据

4 合并MySQL与SQL Server分片数据

预备合并组件

依次拖拽MySQL与SQL Server分片数据到同一合并组件

       设置数据合并条件

 

预览合并后数据

剔除重复数据列

5 合并文本数据

重复上述合并步骤，将以上合并后的数据与文本数据进行合并

预览主题数据

6 主题数据入库

预备目标接口

拖拽合并数据到目标接口创建对应表

输入目标表名称完成数据入库配置

执行任务，查看目标表数据