seaTunnel

【用户投稿】手把手基于Apache SeaTunnel从PostgreSQL同步到Doris

版本要求：PostgreSQL-->Server14.6ApacheSeaTunnel-->Apache-SeaTunnel-2.3.9ApacheDoris-->Apache-Doris-3.0.
SeaTunnel·2025-03-18 08:21

如何通过 Apache SeaTunnel 实现 MySQL 到 OceanBase的数据迁移同步

OceanBase数据库官方博客，目前ApacheSeaTunnel2.3.9已支持本文提到的所有功能，故原文2.3.7已全部修改为2.3.9准备传输工具本方案采用ApacheSeaTunnel（简称SeaTunnel
SeaTunnel·2025-03-18 08:21

2025年 Apache SeaTunnel 2月份社区月报速递

SeaTunnel社区月报2025-02期“各位热爱ApacheSeaTunnel的小伙伴们，SeaTunnel社区月报来啦！”
SeaTunnel·2025-03-18 08:20

【实操回顾】基于Apache SeaTunnel从MySQL同步到PostgreSQL——Demo方舟计划

文章作者：马全才奥克斯集团大数据工程师编辑整理：国电南自赵鸿辉白鲸开源曾辉本文详细演示了如何通过ApacheSeaTunnel2.3.9实现**MySQL**到PostgreSQL的全量数据同步。非常感谢马全才老师花费业余时间为大家演示制作的Demo，也欢迎更多朋友贡献自己熟悉的同步场景，详细请参考社区Demo方舟活动：https://mp.weixin.qq.com/s/5gpiZZ0-8a4I
SeaTunnel·2025-03-18 08:44

SeaTunnel社区「Demo方舟计划」第2期活动上线—— MySQL同步至MySQL数据合并场景实战

引言凌晨3点，某金融公司的数据工程师老王盯着屏幕上的报错信息陷入绝望——从32个分库同步的用户交易数据，在合并至中心MySQL表时，因主键冲突导致每天近10万条数据丢失。业务方投诉不断，而他能找到的解决方案，要么是REPLACEINTO性能低下，要么是INSERTIGNORE无法追溯冲突数据。这并非孤例，可能大部分新接触数据同步的工程师都会遇到以下情况：72%在分库分表合并场景中遭遇过主键冲突导致
·2025-03-14 12:49

2025年 Apache SeaTunnel 2月份社区月报速递

SeaTunnel社区月报2025-02期“各位热爱ApacheSeaTunnel的小伙伴们，SeaTunnel社区月报来啦！”
·2025-03-10 05:38

Apache SeaTunnel 人物专访 | 张东浩：从使用者到Committer的开源历程

SeaTunnel凭借其高性能和插件灵活的特性，已经成为国内众多知名企业数据同步的基础工具。
·2025-03-06 14:23

@数据工程师 Apache SeaTunnel Community Call 会议通知

各位ApacheSeaTunnel社区小伙伴们，大家好！我们将于2025年2月25日（星期二）晚上8点举行ApacheSeaTunnel双周会议。本次会议将涵盖最新的项目进展、技术讨论、社区动态等内容，欢迎大家积极参与！会议时间2025年2月25日（星期二）晚8:00会议链接点击进入会议会议议题收集本次会议将重点讨论社区近期的工作进展及未来计划。我们鼓励大家（任何人）提前提出议题与问题，确保会议内
·2025-02-26 01:28

SeaTunnel社区「Demo方舟计划」首期活动上线—— MySQL CDC实时同步至PostgreSQL实战

引言凌晨2点，某电商公司的数据工程师小李正对着屏幕抓狂——业务部门临时要求将MySQL的订单表实时同步到PostgreSQL进行分析，众所周知，在数据驱动的业务场景中，异构数据源同步是高频刚需。以MySQL到PostgreSQL的CDC同步为例，开发者常面临以下问题：：配置复杂：CDC组件参数众多（如server-id分配、binlog解析模式）。调优缺失：社区示例多为基础配置，缺乏高并发、容错、
·2025-02-21 02:44

深度揭秘：我们是如何设计一个每天同步万亿数据的神器 - SeaTunnel架构解密

"设计一个能支撑万亿级数据同步的系统挑战有多大？来告诉你一个从0到1的故事..."一个深夜的求助2021年的一个深夜，正准备关电脑休息，一个运维电话打了进来："救命！整个数据同步系统都崩溃了，3000多张表的同步全部积压，业务系统已经开始报警了..."电话那头是业务线技术负责人，声音中带着焦虑。这不是数据平台第一次接到类似求助，但这次的规模确实让人吃惊：数据规模：每天新增100TB+同步需求：30
·2025-02-18 18:20

Apache SeaTunnel 社区2025年全年计划公布，共同构建下一代数据集成生态

ApacheSeaTunnel社区正在全球范围内寻找热爱开源、乐于分享的技术先锋！无论你是开发者、用户、布道者还是行业专家，这里都有属于你的舞台。欢迎社区有志之士加入我们，一起推动开源数据集成工具的创新与发展！ApacheSeaTunnel社区全年活动规划一览：https://gzg9x067ms.feishu.cn/base/Hnp1bIKqLaAaTQsqzKscMJ0OnFd...申请流程：
·2025-02-13 11:58

flink实时集成利器 - apache seatunnel - 核心架构详解

SeaTunnel（原名Waterdrop）是一个分布式、高性能、易扩展的数据集成平台，专注于大数据领域的数据同步、数据迁移和数据转换。
24k小善·2025-02-12 23:38

最近社区热议的issue #8542，被疯狂+1的需求急需你的加入！

issue链接：https://github.com/apache/seatunnel/issues/8542本Issue由社区PMC@liugddx提出，目前处于讨论阶段，想参与的请下滑查看详情
·2025-02-12 22:40

Seatunnel和Seatunnel-web部署-linux

一、Seatunnel安装官网地址：https://seatunnel.incubator.apache.org/zh-CN/docs/2.3.8/start-v2/locally/deployment1
笑洋仟·2025-02-10 03:52

Apache SeaTunnel 2025年1月份社区月报

感谢每一位参与其中的社区成员，让我们一同见证SeaTunnel的成长。SeaTunnelMonthlyMergeStars特别感谢以下小伙伴在过去一个月对ApacheSeaTunnel项目的卓越贡献！
·2025-02-08 10:05

DeepSeek R1 × SeaTunnel：引领下一代智能数据集成革命

在人工智能技术迅猛发展的今天，大模型与数据处理技术的深度融合正在重塑企业数据架构的底层逻辑。ApacheSeaTunnel，这一由国人主导、全球社区共建的顶级开源数据集成项目，凭借其对大模型能力的原生支持、向量数据处理能力的突破，以及无缝衔接百种数据源的开放生态，正成为企业迈向智能化数据处理的核心引擎。去年9月份发布的2.3.7版本已经深度集成DeepSeek等大模型技术，标志着数据处理领域正式进
SeaTunnel·2025-02-08 01:25

Seatunnel Web基于Docker独立部署

目录1.编写背景2.基于docker容器seatunnel和seatunnelweb分离式部署2.1Dockerfile编写2.2镜像编译2.3容器启动2.4系统访问3.seatunnelweb与seatuennel
yongge·2025-01-23 02:06

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

文章目录SeaTunnel与DataX、Sqoop、Flume、FlinkCDC对比同类产品横向对比2.1、高可用、健壮的容错机制2.2、部署难度和运行模式2.3、支持的数据源丰富度2.4、内存资源占用
不二人生·2025-01-21 22:25

Apache SeaTunnel 2.3.9 正式发布：多项新特性与优化全面提升数据集成能力

2.3.9版本下载：https://seatunnel.apach
·2025-01-21 07:40

Apache SeaTunnel 荣登 2024 年度中间件开源项目 Top 50 榜单

近日，ApacheSeaTunnel项目成功入选2024年度中间件开源项目Top50榜单。该榜单由OpenGithub技术社区评选，旨在表彰在中间件领域具有突出表现的开源项目。榜单链接：https://zhuanlan.zhihu.com/p/16116358605关于ApacheSeaTunnelApacheSeaTunnel是一个云原生的高性能海量数据集成工具。北京时间2023年6月1日，全球
SeaTunnel·2025-01-19 22:12

SeaTunnel 增强对 Excel 读取能力，支持xlsx、xls、公式单元格

本次修改基于SeaTunnel-2.3.4版本，包括：自动识别.xlsx和.xls文件类型，不再依赖文件后缀名判断；新增对公式单元格的值解析支持；优化数据类型转换的容错性。
·2025-01-17 00:36

Apache SeaTunnel 社区 2024 年度报告

2024年是ApacheSeaTunnel社区高速成长的一年。从技术创新到用户生态，从版本发布到社区活动，我们见证了无数开发者与企业在数据集成领域的探索与突破。展望2025展望未来，ApacheSeaTunnel社区将继续秉承开源精神，为全球用户提供更强大、更易用的数据集成工具。我们的目标包括支持更多数据源和目标：扩展连接器生态，满足用户的复杂需求。性能优化：提升大规模数据同步效率，进一步降低延迟
·2025-01-16 23:00

Apache SeaTunnel如何实现MongoDB到Doris无缝数据同步？

这些步骤基于ApacheSeaTunnel的官方文档和社区提供的最佳实践：一、环境准备下载并安装SeaTunnel：访问SeaTunnel的官方GitHub页面，下载最新稳定版本的SeaTunnel。
·2025-01-16 23:52

7-8月月报 | Apache SeaTunnel社区进展一览

各位热爱ApacheSeaTunnel的小伙伴们，社区7-8月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。MergeStars感谢以下小伙伴上两个月为ApacheSeaTunnel项目和社区发展所做的精彩贡献（排名不分先后）：@Hisoka-X,@xxsc0529,@arshadmohammad,@TyrantLucifer,@ZhangWeike20
SeaTunnel·2024-09-07 04:51

Apache SeaTunnel 2.3.7发布：全新支持大型语言模型数据转换

我们欣喜地宣布，ApacheSeaTunnel2.3.7版本现已正式发布！作为一个广受欢迎的下一代开源数据集成工具，ApacheSeaTunnel一直致力于为用户提供更加灵活、高效的数据同步和集成能力。此次版本更新不仅引入了如LLM（大型语言模型）数据转换支持、增强的SQL支持和新连接器支持等多个新特性，还对现有功能进行了优化和改进，并修复了多个发现的问题。本文将详细介绍ApacheSeaTunn
SeaTunnel·2024-09-06 06:24

PostgreSQL 连接器：在 SeaTunnel 中的应用与优势

在现代企业中，数据已经成为核心资产，基于开源数据集成平台SeaTunnel，工程师如何高效地连接和管理这些数据源，直接关系到企业的竞争力和运营效率。
SeaTunnel·2024-08-23 01:25

【干货】解决CentOS 7.x上安装与部署SeaTunnel Web时遇到的问题

2.SeaTunnel安装部署2.1下载安装包exportversion="2.3.3"wget"http
·2024-02-20 13:12

Apache SeaTunnel本地源码构建编译运行调试

1.环境准备本文使用的是windows10-64位专业版的电脑，需要安装环境如下1.1Java环境jdk>=1.8-64位的jdk、1.2Maven使用的是idea自带的maven，最好是安装一个方便源码编译构建，使用idea自带的maven无法执行mvnw，但是可以复制mvnw后面的在idea的maven中的runmaven中的newgoal里面执行即可。1.3IDEA代码编辑调试运行器1.4D
·2024-02-20 13:41

使用clickhouse kafka表引擎消费kafka写入clickhouse

系列文章目录1：seatunnel消费kafka数据写入clickhouse文章目录系列文章目录文章目录前言1.创建kafka引擎表2.创建clickhouseMergeTree表3.创建kafka物化视图写入结构表三
冰帆<·2024-02-11 22:22

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

SeaTunnel主要解决数据集成领域的常见问题：*数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据
浪尖聊大数据-浪尖·2024-02-08 06:38

数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume、Flink CDC

本文将对比五种流行的数据处理工具：SeaTunnel、DataX、Sqoop、Flume和FlinkCDC，从它们的设计理念、使用场景、优缺点等方面进行详细介绍。
大数据_苡~·2024-02-08 06:33

seatunnel数据集成（一）简介与安装

seatunnel数据集成（一）简介与安装seatunnel数据集成（二）数据同步seatunnel数据集成（三）多表同步seatunnel数据集成（四）连接器使用1、背景AboutSeatunnel|
大数据_苡~·2024-02-06 11:55

seatunnel数据集成（四）转换器使用

seatunnel数据集成（一）简介与安装seatunnel数据集成（二）数据同步seatunnel数据集成（三）多表同步seatunnel数据集成（四）连接器使用seatunnel除了丰富的连接器类型
大数据_苡~·2024-02-06 11:55

seatunnel数据集成（二）数据同步

seatunnel数据集成（一）简介与安装seatunnel数据集成（二）数据同步seatunnel数据集成（三）多表同步seatunnel数据集成（四）连接器使用1、Connector类型seatunnel
大数据_苡~·2024-02-06 11:25

seatunnel数据集成（三）多表同步

seatunnel数据集成（一）简介与安装seatunnel数据集成（二）数据同步seatunnel数据集成（三）多表同步seatunnel数据集成（四）连接器使用seatunnel除了单表之间的数据同步之外
大数据_苡~·2024-02-06 11:22

Apache SeaTunnel (不含web) Window11 本机搭建（非源码）

只提供作者试过且可行的方案)window11ubuntu20(wsl2)window11内置ubuntu的方式自行百度，此处不做陈述jdk8mysql8navicatvscode环境准备不做过多陈述，以下是正式的安装启动步骤SeaTunnel2.3.3
学不透java不改名·2024-01-31 15:29

Apache SeaTunnel 解一下？

SeaTunnel正式通过世界顶级开源组织Apache软件基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目！
灯惉·2024-01-30 16:39

SeaTunnel集群安装

环境准备服务器节点节点名称IPbigdata1192.168.1.250bigdata4192.168.1.251bigdata5192.168.1.252Java环境（三个节点都需要）java1.8+注意：在安装SeaTunnel
崔二旦·2024-01-30 15:26

SeaTunnel Web安装 一把成

安装相关jar包，以及SeaTunnel和Web打成的包，可以直接使用，但是需要安装MySQL客户端的分享：链接：https://pan.baidu.com/s/1qrt1RAX38SgIpNklbQJ7pA
崔二旦·2024-01-30 15:54

Apache SeaTunnel 数据集成插件开发最新经验总结!

在ApacheSeaTunnel的最新插件开发中，connector-v2maxcompute连接器实现了基于CatalogTable+SaveMode的新版本。本文主要给大家分享了源端的关键改动包括弃用了过时的方法，改为通过CatalogTable实现数据传递。汇端则增加了对multi-tablesink和saveMode接口的实现，并需手动管理autoservice注解等经验方法！此外，开发了
SeaTunnel·2024-01-26 15:26

Github 2024-01-19 Java开源项目日报 Top10

：Java开发的开源项目Conductor:NetflixAnnouncementandCommunitySupportQuarkus:超音速亚原子级JavaApacheKafka管理的Web用户界面SeaTunnel
bfu_努力进大厂送外卖的Z·2024-01-26 00:21

SeaTunnel 海量数据同步工具的使用（连载中……）

一、概述SeaTunnel是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，前身是WaterDrop（中文名：水滴），自2021年10月12日更名为SeaTunnel。
programmer_山风·2024-01-21 03:49

apache seatunnel web 安装部署

下载文件apache-seatunnel-2.3.3-bin.tar.gzapache-seatunnel-web-1.0.0-bin.tar.gzdownload_datasource.sh准备工作解压文件
贾斯汀玛尔斯·2024-01-18 06:36

SeaTunnel 、DataX 、Sqoop、Flume、Flink CDC 对比

对比对比项ApacheSeaTunnelDataXApacheSqoopApacheFlumeFlinkCDC部署难度容易容易中等，依赖于Hadoop生态系统容易中等，依赖于Hadoop生态系统运行模式分布式，也支持单机单机本身不是分布式框架，依赖HadoopMR实现分布式分布式，也支持单机分布式，也支持单机健壮的容错机制无中心化的高可用架构设计，有完善的容错机制易受比如网络闪断、数据源不稳定等因
贾斯汀玛尔斯·2024-01-18 06:01

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

2023年终盘点：Apache SeaTunnel社区年度成就与展望

随着2023年即将画上圆满的句号，是时候回顾过去一年ApacheSeaTunnel社区的辉煌成就和宝贵经验。在这充满挑战和机遇的一年里，我们的社区不断壮大，技术不断进步，成就斐然。展望2024年展望来年，ApacheSeaTunnel社区将继续致力于打造更加高效稳定的数据集成平台，并着重在DDL自动变更、自动建表、可视化配置、整库同步等功能进行开发和改进。我们期待着与更多的开发者和合作伙伴一起，共
SeaTunnel·2024-01-16 05:11

2023年终盘点：Apache SeaTunnel社区年度成就与展望

随着2023年即将画上圆满的句号，是时候回顾过去一年ApacheSeaTunnel社区的辉煌成就和宝贵经验。在这充满挑战和机遇的一年里，我们的社区不断壮大，技术不断进步，成就斐然。展望2024年展望来年，ApacheSeaTunnel社区将继续致力于打造更加高效稳定的数据集成平台，并着重在DDL自动变更、自动建表、可视化配置、整库同步等功能进行开发和改进。我们期待着与更多的开发者和合作伙伴一起，共
DolphinScheduler社区·2024-01-16 03:15

郭炜：开源大侠是怎样炼成的

SeaTunnel原名Waterdrop，于2017年由乐视创建，并于同年在Github上开源
开源社·2024-01-12 11:11

SeaTunnel 学习笔记

第1章Seatunnel概述官网地址：https://seatunnel.apache.org/文档地址：https://interestinglab.github.io/seatunnel-docs/
十二同学啊·2024-01-11 08:39

3 分钟部署 SeaTunnel Zeta 单节点 Standalone 模式环境

点击蓝字关注我们部署环境（MacOS/Linux）1.安装JDK环境目前SeaTunnel支持运行在JDK8及以上的环境。用户需要自行安装JDK环境。
SeaTunnel·2024-01-09 01:06
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他