数据中台之数据采集

采集方式总览

接口数据采集,数据源数据同步采集

已有产品的采集策略

 阿里云产品DataWorks从Mysql离线同步数据到MaxCompute有如下方案:

周期性增量

整库离线同步(周期性增量)适用于需要将某些表的增量数据周期性的同步到MaxCompute的场景。本数据同步解决方案中,您可以通过where条件来抽取增量数据同步至MaxCompute,并支持丰富的调度时间配置,便于数据同步任务周期运行。

周期性全量

整库离线同步(周期性全量)适用于需要将某些表的全量数据周期性的同步到MaxCompute的场景,适用于大量表的周期性同步任务,本数据同步解决方案中,您可以选用分批上传的功能来降低数据同步负载,并支持丰富的调度时间配置,便于数据同步任务周期运行。

一次性全量

整库离线同步(一次性全量)适用于需要将某些表的全量数据一次性的同步到MaxCompute的场景。完成数据源、网络、资源的准备工作配置后,您可以创建并执行同步任务。本文为您介绍如何创建一次性全量数据同步任务,并在创建完成后查看任务运行情况。

一次性增量

整库离线同步(一次性增量)适用于需要将某些表的增量数据一次性同步到MaxCompute的场景,且同步过程中可以对数据按where条件抽取。完成数据源、网络、资源的准备工作配置后,您可以创建并执行同步任务。本文为您介绍如何创建一次性增量数据同步任务,并在创建完成后查看任务运行情况。

一次性全量周期性增量

你可能感兴趣的:(数据中台,big,data,数据中台)