Seatunnel

Apache SeaTunnel 荣获上海开源创新菁英荟优秀开源项目奖

信创生态：支持20+国产数据库的无缝对接SeaTunnel深度适配华为OpenGauss、阿里OceanBase等20+主流国产数据库，支持CDC（变更数据捕获）与高性能加载。
·2025-07-02 22:50

SeaTunnel 社区月报（5-6 月）：全新功能上线、Bug 大扫除、Merge 之星是谁？

在5月和6月，SeaTunnel社区迎来了一轮密集更新：2.3.11正式发布，新增对Databend、Elasticsearch向量、HTTP批量写入、ClickHouse多表写入等多个连接器能力，全面提升了数据同步灵活性
·2025-07-01 18:24

SeaTunnel2.1.1源码解析

目录一：启动脚本解析二：源码解析入口2.execute()核心方法1.其中BaseSource、BaseTransform、BaseSink都是接口、都实现Plugin接口。他们的实现类就是对应的插件类型2.execute()方法向下走，创建一个执行环境。3.调用plugin.prepare(env)4.最后启动execution.start(sources,transforms,sinks);5
Adobee Chen·2025-06-29 16:58

Apache SeaTunnel Flink引擎执行流程源码分析

目录1.任务启动入口2.任务执行命令类：FlinkTaskExecuteCommand3.FlinkExecution的创建与初始化3.1核心组件初始化3.2关键对象说明4.任务执行：FlinkExecution.execute()5.Source处理流程5.1插件初始化5.2数据流生成6.Transform处理流程6.1插件初始化6.2转换执行7.Sink处理流程7.1插件初始化7.2数据输出执
Code Monkey’s Lab·2025-06-29 16:26

Maven Daemon 全面加速 SeaTunnel 编译打包效率

作者|张东浩在大规模数据集成项目中，构建效率尤为关键。本文实测了ApacheSeaTunnel项目在使用传统Maven与新一代构建工具MavenDaemon（mvnd）下的打包效率差异，结果显示mvnd方案通过守护进程与多线程构建机制，实现了约60%的性能提升。无需修改pom.xml即可兼容现有项目，是开发者提效的利器。附详细安装、使用教程与对比数据，建议你立即尝试！什么是MavenDaemon(
·2025-06-17 12:13

开源免费数据同步工具全景解析与实战指南

一、数据同步工具生态全景图1.1工具分类矩阵类型代表工具核心能力适用场景开源协议ETL工具DataX、SeaTunnel异构数据源批量同步数据仓库构建Apache2.0CDC工具FlinkCDC、Canal
社恐码农·2025-06-04 13:39

Apache SeaTunnel部署技术详解：模式选择、技巧与最佳实践

本文将系统解析SeaTunnel的部署架构、技术要点及最佳实践，帮助用户高效构建稳定可靠的数据管道。
weixin_30777913·2025-05-30 15:26

Java资源管理与防止泄漏：从SeaTunnel源码看资源释放

本文从SeaTunnel案例出发，探讨Java中如何正确管理资源，防止资源泄漏。SeaTunnel中的一次修复ApacheSeaTunnel项目中的HiveSink组件曾存在一个典型的资源泄漏隐患。
·2025-05-19 23:49

Apache SeaTunnel 2025年3月份社区月度报告新鲜出炉！

SeaTunnel社区月报2025-03期“各位热爱ApacheSeaTunnel的小伙伴们，SeaTunnel社区3月份月报来啦！”刚加入社区的小伙伴们注意了！
SeaTunnel·2025-05-04 03:28

SeaTunnel 2.3.9同步Oracle数据至Doris出现乱码？别慌，这么做

解决思路数据从数据库读取到Source的时候去处理，也就是从ResultSet里面获取数据的时候，去重新编码先下载好2.3.9版本的SeaTunnel源码，进入到seatunnel-connectors-v2
SeaTunnel·2025-05-04 03:28

源库与目标库之间的数据完整性

当使用SeaTunnel进行批流一体数据同步时，企业用户通常最关心以下问题："如何保证源库与目标库之间的数据完整性？""任务中断或故障恢复后，能否避免数据重复或丢失？"
·2025-04-24 14:35

源库与目标库之间的数据完整性

当使用SeaTunnel进行批流一体数据同步时，企业用户通常最关心以下问题："如何保证源库与目标库之间的数据完整性？""任务中断或故障恢复后，能否避免数据重复或丢失？"
·2025-04-24 14:35

技术决策者最为关注的核心问

当使用SeaTunnel进行批流一体数据同步时，企业用户通常最关心以下问题："如何保证源库与目标库之间的数据完整性？""任务中断或故障恢复后，能否避免数据重复或丢失？"
·2025-04-24 14:34

技术决策者最为关注的核心问

当使用SeaTunnel进行批流一体数据同步时，企业用户通常最关心以下问题："如何保证源库与目标库之间的数据完整性？""任务中断或故障恢复后，能否避免数据重复或丢失？"
·2025-04-24 14:34

万字长文 | Apache SeaTunnel 分离集群模式部署 K8s 集群实践

文章作者：雷宝鑫整理排版：白鲸开源曾辉ApacheSeaTunnel官网链接:https://seatunnel.apache.org/ApacheSeaTunnel(以下简称SeaTunnel）是一款新一代高性能
·2025-04-22 19:41

Seatunnel系列之：Apache Iceberg sink connector和往Iceberg同步数据任务示例

Seatunnel系列之：ApacheIcebergsinkconnector和往Iceberg同步数据任务示例一、支持的Iceberg版本二、支持的引擎三、描述四、支持的数据源信息五、数据库依赖六、数据类型映射七
快乐骑行^_^·2025-04-12 18:01

【双周会】就在今晚，Apache SeaTunnel Community Call 会议通知

如果您在使用SeaTunnel上有相关的问题，也欢迎在会议上提出交流！会议时间2025年4月8日（星期二）晚8:00会议链接邀请您参加腾讯会议会议主题：SeaTunnelCommun
SeaTunnel·2025-04-12 04:52

SeaTunnel系列之：Apache SeaTunnel编译和安装

ApacheSeaTunnel编译Prepare编译克隆源代码本地安装子项目从源代码构建SeaTunnel构建子模块安装JetBrainsIDEAScala插件安装JetBrainsIDEALombok
快乐骑行^_^·2025-04-06 07:09

Apache SeaTunnel MCP Server：让AI成为你的ETL助手

ApacheSeaTunnelMCPServer，可以将SeaTunnel的接口文档提供给Cursor等支持AI编程的IDE，或其他支持MCP的AI工具。
·2025-04-02 12:33

Apache SeaTunnel 2.3.10 正式发布 —— 全新功能与多项改进，助力数据集成再升级！

亲爱的ApacheSeaTunnel社区小伙伴们！我们关注到近日由@zhangshenghang担任发版经理，ApacheSeaTunnel2.3.10版本已经正式发布！本次版本更新聚焦于部分连接器功能优化及增强、配置项完善和问题修复，进一步提升了数据同步、处理的稳定性和性能，助力企业构建高效、灵活的数据集成平台。以下是本次版本发布的主要内容摘要：2.3.10版本下载：https://seatun
·2025-04-01 11:57

记一次Seatunnel同步数据速度测试

1、背景数据源：mysql，数据量：5000W+，数据字段数：3；目标端：mysql；服务器：五台、8核、内存24G；仅在类似情况下具有参考意义。2、基础配置{"env":{"job.mode":"BATCH","checkpoint.interval":10000},"source":[{"password":"******","driver":"com.mysql.cj.jdbc.Driver
留梦言·2025-03-31 17:53

dolphin上MySQL到hive、seatunnel任务创建

dolphin上MySQL到hive、seatunnel任务创建：1.先获取所需数量的taskCodeLongtaskCode=getClient().opsForProcess().generateTaskCode
元亨利贞之乾·2025-03-31 17:52

轻松入门Apache SeaTunnel：数据集成利器

文章目录轻松入门ApacheSeaTunnel：数据集成利器什么是SeaTunnel基本原理运行流程SeaTunnelvsDataX：两大数据集成工具对比实战场景：MySQL数据同步至ElasticsearchSeaTunnel
窝窝和牛牛·2025-03-23 03:16

Flink CDC 与 SeaTunnel CDC 简单对比

FlinkCDC与SeaTunnelCDC简单对比CDC技术概述变更数据捕获（ChangeDataCapture，简称CDC）是一种用于捕获数据库中数据变更的技术，能够实时识别、捕获并输出数据库中的插入、更新和删除操作。CDC技术在现代数据架构中扮演着至关重要的角色，特别是在实时数据集成、数据同步和事件驱动架构等场景中。CDC的工作原理CDC主要通过以下几种方式捕获数据变更：基于日志的CDC：直接
窝窝和牛牛·2025-03-23 03:13

【用户投稿】手把手基于Apache SeaTunnel从PostgreSQL同步到Doris

版本要求：PostgreSQL-->Server14.6ApacheSeaTunnel-->Apache-SeaTunnel-2.3.9ApacheDoris-->Apache-Doris-3.0.
SeaTunnel·2025-03-18 08:21

如何通过 Apache SeaTunnel 实现 MySQL 到 OceanBase的数据迁移同步

OceanBase数据库官方博客，目前ApacheSeaTunnel2.3.9已支持本文提到的所有功能，故原文2.3.7已全部修改为2.3.9准备传输工具本方案采用ApacheSeaTunnel（简称SeaTunnel
SeaTunnel·2025-03-18 08:21

2025年 Apache SeaTunnel 2月份社区月报速递

SeaTunnel社区月报2025-02期“各位热爱ApacheSeaTunnel的小伙伴们，SeaTunnel社区月报来啦！”
SeaTunnel·2025-03-18 08:20

【实操回顾】基于Apache SeaTunnel从MySQL同步到PostgreSQL——Demo方舟计划

文章作者：马全才奥克斯集团大数据工程师编辑整理：国电南自赵鸿辉白鲸开源曾辉本文详细演示了如何通过ApacheSeaTunnel2.3.9实现**MySQL**到PostgreSQL的全量数据同步。非常感谢马全才老师花费业余时间为大家演示制作的Demo，也欢迎更多朋友贡献自己熟悉的同步场景，详细请参考社区Demo方舟活动：https://mp.weixin.qq.com/s/5gpiZZ0-8a4I
SeaTunnel·2025-03-18 08:44

SeaTunnel社区「Demo方舟计划」第2期活动上线—— MySQL同步至MySQL数据合并场景实战

引言凌晨3点，某金融公司的数据工程师老王盯着屏幕上的报错信息陷入绝望——从32个分库同步的用户交易数据，在合并至中心MySQL表时，因主键冲突导致每天近10万条数据丢失。业务方投诉不断，而他能找到的解决方案，要么是REPLACEINTO性能低下，要么是INSERTIGNORE无法追溯冲突数据。这并非孤例，可能大部分新接触数据同步的工程师都会遇到以下情况：72%在分库分表合并场景中遭遇过主键冲突导致
·2025-03-14 12:49

2025年 Apache SeaTunnel 2月份社区月报速递

SeaTunnel社区月报2025-02期“各位热爱ApacheSeaTunnel的小伙伴们，SeaTunnel社区月报来啦！”
·2025-03-10 05:38

Apache SeaTunnel 人物专访 | 张东浩：从使用者到Committer的开源历程

SeaTunnel凭借其高性能和插件灵活的特性，已经成为国内众多知名企业数据同步的基础工具。
·2025-03-06 14:23

@数据工程师 Apache SeaTunnel Community Call 会议通知

各位ApacheSeaTunnel社区小伙伴们，大家好！我们将于2025年2月25日（星期二）晚上8点举行ApacheSeaTunnel双周会议。本次会议将涵盖最新的项目进展、技术讨论、社区动态等内容，欢迎大家积极参与！会议时间2025年2月25日（星期二）晚8:00会议链接点击进入会议会议议题收集本次会议将重点讨论社区近期的工作进展及未来计划。我们鼓励大家（任何人）提前提出议题与问题，确保会议内
·2025-02-26 01:28

SeaTunnel社区「Demo方舟计划」首期活动上线—— MySQL CDC实时同步至PostgreSQL实战

引言凌晨2点，某电商公司的数据工程师小李正对着屏幕抓狂——业务部门临时要求将MySQL的订单表实时同步到PostgreSQL进行分析，众所周知，在数据驱动的业务场景中，异构数据源同步是高频刚需。以MySQL到PostgreSQL的CDC同步为例，开发者常面临以下问题：：配置复杂：CDC组件参数众多（如server-id分配、binlog解析模式）。调优缺失：社区示例多为基础配置，缺乏高并发、容错、
·2025-02-21 02:44

深度揭秘：我们是如何设计一个每天同步万亿数据的神器 - SeaTunnel架构解密

"设计一个能支撑万亿级数据同步的系统挑战有多大？来告诉你一个从0到1的故事..."一个深夜的求助2021年的一个深夜，正准备关电脑休息，一个运维电话打了进来："救命！整个数据同步系统都崩溃了，3000多张表的同步全部积压，业务系统已经开始报警了..."电话那头是业务线技术负责人，声音中带着焦虑。这不是数据平台第一次接到类似求助，但这次的规模确实让人吃惊：数据规模：每天新增100TB+同步需求：30
·2025-02-18 18:20

Apache SeaTunnel 社区2025年全年计划公布，共同构建下一代数据集成生态

ApacheSeaTunnel社区正在全球范围内寻找热爱开源、乐于分享的技术先锋！无论你是开发者、用户、布道者还是行业专家，这里都有属于你的舞台。欢迎社区有志之士加入我们，一起推动开源数据集成工具的创新与发展！ApacheSeaTunnel社区全年活动规划一览：https://gzg9x067ms.feishu.cn/base/Hnp1bIKqLaAaTQsqzKscMJ0OnFd...申请流程：
·2025-02-13 11:58

flink实时集成利器 - apache seatunnel - 核心架构详解

SeaTunnel（原名Waterdrop）是一个分布式、高性能、易扩展的数据集成平台，专注于大数据领域的数据同步、数据迁移和数据转换。
24k小善·2025-02-12 23:38

最近社区热议的issue #8542，被疯狂+1的需求急需你的加入！

issue链接：https://github.com/apache/seatunnel/issues/8542本Issue由社区PMC@liugddx提出，目前处于讨论阶段，想参与的请下滑查看详情
·2025-02-12 22:40

Seatunnel和Seatunnel-web部署-linux

一、Seatunnel安装官网地址：https://seatunnel.incubator.apache.org/zh-CN/docs/2.3.8/start-v2/locally/deployment1
笑洋仟·2025-02-10 03:52

Apache SeaTunnel 2025年1月份社区月报

感谢每一位参与其中的社区成员，让我们一同见证SeaTunnel的成长。SeaTunnelMonthlyMergeStars特别感谢以下小伙伴在过去一个月对ApacheSeaTunnel项目的卓越贡献！
·2025-02-08 10:05

DeepSeek R1 × SeaTunnel：引领下一代智能数据集成革命

在人工智能技术迅猛发展的今天，大模型与数据处理技术的深度融合正在重塑企业数据架构的底层逻辑。ApacheSeaTunnel，这一由国人主导、全球社区共建的顶级开源数据集成项目，凭借其对大模型能力的原生支持、向量数据处理能力的突破，以及无缝衔接百种数据源的开放生态，正成为企业迈向智能化数据处理的核心引擎。去年9月份发布的2.3.7版本已经深度集成DeepSeek等大模型技术，标志着数据处理领域正式进
SeaTunnel·2025-02-08 01:25

Seatunnel Web基于Docker独立部署

目录1.编写背景2.基于docker容器seatunnel和seatunnelweb分离式部署2.1Dockerfile编写2.2镜像编译2.3容器启动2.4系统访问3.seatunnelweb与seatuennel
yongge·2025-01-23 02:06

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

文章目录SeaTunnel与DataX、Sqoop、Flume、FlinkCDC对比同类产品横向对比2.1、高可用、健壮的容错机制2.2、部署难度和运行模式2.3、支持的数据源丰富度2.4、内存资源占用
不二人生·2025-01-21 22:25

Apache SeaTunnel 2.3.9 正式发布：多项新特性与优化全面提升数据集成能力

2.3.9版本下载：https://seatunnel.apach
·2025-01-21 07:40

Apache SeaTunnel 荣登 2024 年度中间件开源项目 Top 50 榜单

近日，ApacheSeaTunnel项目成功入选2024年度中间件开源项目Top50榜单。该榜单由OpenGithub技术社区评选，旨在表彰在中间件领域具有突出表现的开源项目。榜单链接：https://zhuanlan.zhihu.com/p/16116358605关于ApacheSeaTunnelApacheSeaTunnel是一个云原生的高性能海量数据集成工具。北京时间2023年6月1日，全球
SeaTunnel·2025-01-19 22:12

SeaTunnel 增强对 Excel 读取能力，支持xlsx、xls、公式单元格

本次修改基于SeaTunnel-2.3.4版本，包括：自动识别.xlsx和.xls文件类型，不再依赖文件后缀名判断；新增对公式单元格的值解析支持；优化数据类型转换的容错性。
·2025-01-17 00:36

Apache SeaTunnel 社区 2024 年度报告

2024年是ApacheSeaTunnel社区高速成长的一年。从技术创新到用户生态，从版本发布到社区活动，我们见证了无数开发者与企业在数据集成领域的探索与突破。展望2025展望未来，ApacheSeaTunnel社区将继续秉承开源精神，为全球用户提供更强大、更易用的数据集成工具。我们的目标包括支持更多数据源和目标：扩展连接器生态，满足用户的复杂需求。性能优化：提升大规模数据同步效率，进一步降低延迟
·2025-01-16 23:00

Apache SeaTunnel如何实现MongoDB到Doris无缝数据同步？

这些步骤基于ApacheSeaTunnel的官方文档和社区提供的最佳实践：一、环境准备下载并安装SeaTunnel：访问SeaTunnel的官方GitHub页面，下载最新稳定版本的SeaTunnel。
·2025-01-16 23:52

7-8月月报 | Apache SeaTunnel社区进展一览

各位热爱ApacheSeaTunnel的小伙伴们，社区7-8月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。MergeStars感谢以下小伙伴上两个月为ApacheSeaTunnel项目和社区发展所做的精彩贡献（排名不分先后）：@Hisoka-X,@xxsc0529,@arshadmohammad,@TyrantLucifer,@ZhangWeike20
SeaTunnel·2024-09-07 04:51

Apache SeaTunnel 2.3.7发布：全新支持大型语言模型数据转换

我们欣喜地宣布，ApacheSeaTunnel2.3.7版本现已正式发布！作为一个广受欢迎的下一代开源数据集成工具，ApacheSeaTunnel一直致力于为用户提供更加灵活、高效的数据同步和集成能力。此次版本更新不仅引入了如LLM（大型语言模型）数据转换支持、增强的SQL支持和新连接器支持等多个新特性，还对现有功能进行了优化和改进，并修复了多个发现的问题。本文将详细介绍ApacheSeaTunn
SeaTunnel·2024-09-06 06:24

PostgreSQL 连接器：在 SeaTunnel 中的应用与优势

在现代企业中，数据已经成为核心资产，基于开源数据集成平台SeaTunnel，工程师如何高效地连接和管理这些数据源，直接关系到企业的竞争力和运营效率。
SeaTunnel·2024-08-23 01:25
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他