01 - Apache Seatunnel 源码调试

1.下载源码

https://github.com/apache/seatunnel.git

2.编译

mvn clean package -pl seatunnel-dist -am -Dmaven.test.skip=true

3. 下载驱动

 sh bin/install-plugin.sh 

4.测试类

选择 seatunnel-examples
├── seatunnel-engine-examples
├── seatunnel-flink-connector-v2-example
├── seatunnel-spark-connector-v2-example

5.Spark 引擎调试

注意:需要调试哪些数据库,使用相应 connector ,就要在 pom 文件中添加。

<!--  添加 postgresql 驱动>
<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <version>42.2.5</version>
</dependency>
<!--        添加 oracle 驱动-->
<dependency>
    <groupId>com.oracle.ojdbc</groupId>
    <artifactId>ojdbc8</artifactId>
    <version>19.3.0.0</version>
</dependency>
<!--  添加 hive 相关 驱动>
<dependency>
    <groupId>org.apache.seatunnel</groupId>
    <artifactId>connector-file</artifactId>
    <version>${project.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.seatunnel</groupId>
    <artifactId>connector-hive</artifactId>
    <version>${project.version}</version>
</dependency>

如果需要其他的,自己补充即可

你可能感兴趣的:(seatunnel,bigdata,大数据)