SeaTunnel架构剖析

目录

基础介绍

seaTunnel配置文件由4个部分组成

启动命令

seatunnel覆盖了那部分？

seaTunnel架构剖析

seaTunnel的基石 Api

 SeaTunnel core

SeaTunnel Plugins

 SeaTunnel 使用场景

seaTunnel痛点

---

基础介绍

seaTunnel是一个分布式、高性能、用于处理海量数据(离线&实时)同步和转换的数据集成工具

注：

分布式体现在能运行在yarn or mesos or More

离线&实时： 丰富的Connector 且支持流批一体

同步和转换：多样的数据处理插件且极易扩展

seaTunnel配置文件由4个部分组成

• env
• source
• transform
• sink

env{
    app.name=seaTunnel-demo
}

source {
   mysql{
     }
}

transform {
   convert{
   }
}

sink{
   elasticsearch{
    }
}

source + transform +sink 构建了数据处理的Pipeline,满足各种各样的数据处理需求

启动命令

./bin/start-seatunnel.sh --master yarn --deploy-mode client --config ./config/demo.conf

seatunnel覆盖了那部分？

数据处理+数据存储

seaTunnel架构剖析

seaTunnel的基石 Api

 底层Plugin

public interface Plugin extends Serializable {

     config getConfg();
     
     void setConfig(Config config);

     CheckResult checkConfig();

     void prepare(T prepareEnv);
}

BaseSource

public interface BaseSource extends Plugin{

    OUT getData(T env);
}

BaseTransform

public interface BaseTransfrom extends Plugin{

     OUT process(IN inputData,T env);

}

BaseSink

public interface BaseSink extends Plugin{

  OUT output(IN inputData,T env);
}

 SeaTunnel core

 

SeaTunnel Plugins

 SeaTunnel 使用场景

常用

• 实时数据同步

1. kafka -> ClickHouse/Elasticsearch

• 异构数据源同步

1. Hive -> ClickHouse

2. MySQL -> Elasticsearch

3. JDBC -> JDBC

• OLAP CUBE计算

1. kafka -> AGG -> ClickHouse/Elasticsearch

2. Hive -> Hive

seaTunnel痛点

 解决方案 dolphinScheduler与SeaTunnel集成