Flinkx

数据同步工具chunjun(flinkx)-1.12.7 使用tips

目录本文旨在记录chunjun使用过程中的tips，并且记录与官网描述不符的地方，以减少学习成本1、在编写json的时候推荐使用在线json编辑器：2、类似MySQLMySQL这种需要编写带jdbcUrl的任务，注意reader和writer中jdbcUrl类型不一致3、以kafka—>mysql举例解释字段间的映射关系4、kafka—>mysql，当kafka输入脏数据时，mysql会写入空行5
省略号的搬运工·2024-01-12 01:36

Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法
张飞的猪大数据·2024-01-07 12:13

Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka
自橙一派·2023-09-26 12:23

致谢每一位ChunJun Contributor！这里有一份礼物等你领取！

从还被叫作FlinkX，写下第一行代码开始，ChunJun已经走过了第六个年头，经历了从分布式离线/实时数据同步插件，晋级为批流统一数据集成框架的蜕变时刻。
袋鼠云数栈·2023-09-26 12:50

flink类加载器原理与隔离（flink jar包冲突）

Flink卸载用户代码中动态加载的类Flink卸载Classloader源码flinkx如何实现类加载隔离Flinkjar的上传时机Yarn的分布式缓存Flin
Direction_Wind·2023-09-26 12:20

使用CDC框架采集SqlServer，只能采集全量数据，无法采集增量数据问题

问题描述：通过flink-cdc、flinkX等框架采集sqlServer的DDL语句时，全量数据能够采集到（将旧数据以查询方式读取进来），后续对该表的增删改操作，都无法增量采集DDL语句解决方案：这个情况不是单个原因导致的
隔壁_小王·2023-09-21 21:42

@全体开发者们，ChunJun 有奖征文，精美奖品，快来参加！

2022年4月，在FlinkX进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为ChunJun。到目前为止，ChunJun正式更名上线已经过了一年多了。
袋鼠云数栈·2023-09-15 15:05

Agent生命周期管理框架—EasyAgent正式开源啦

同年FlinkX、FlinkStreamSQL相继上线，经过三年的发展，Star数分别达到2.2k和1.5k，位列Flink生态领域前茅，获得广泛的社区支持。
·2023-08-16 12:32

一文带你学会如何基于Flink构建实时计算平台

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
袋鼠云数栈·2023-08-02 21:42

数据同步工具调研sqoop、 datax、 waterdrop、flinkx、kettle、streamset、nifi

sqoopimage.pnghttps://www.cnblogs.com/xuyou551/p/7998846.htmldataxhttps://www.cnblogs.com/ywjfx/p/13853461.htmlimage.pngwaterdrophttps://www.bianchengquan.com/article/331336.htmlflinkxFlinkxMysql同步数据到
bigdata张凯翔·2023-07-23 15:27

Flink CDC和FlinkX与数据湖

FlinkX使用简介与安装FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQLbinlog，Kafka等。
贾斯汀玛尔斯·2023-07-19 13:06

开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka
袋鼠云数栈·2023-07-14 07:38

简析数栈高效数据同步插件FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
袋鼠云数栈·2023-06-18 12:30

数栈运维案例：客户生产服务器CPU负载异常处理

本文整理自：袋鼠云技术荟|某客户生产服务器CPU负载异常处理数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具
·2023-06-14 15:06

flinkx读取hdfs鉴权kerberos

"hadoopConfig":{"properties.hadoop.user.name":"sync","properties.dfs.ha.namenodes.ns":"hostname1,hostname2","properties.fs.defaultFS":"hdfs://bigdata","properties.dfs.namenode.rpc-address.ns.nn2":"hos
JenneyAes·2023-06-08 18:21

秃头也要学习的微服务进阶场景实战：基于Bifrost的数据同步方案

根据这些要求，可以选用以下几个开源中间件：Canal、Debezium、DataX、Databus、Flinkx、Bifrost。这些中间件的对比结果见表14-1。
写代码的珏秒秒·2023-04-03 03:40

纯钧（ChunJun，原名FlinkX）框架学习

目录一、背景二、概念三、特性四、工作原理五、快速开始1.数据同步任务模版kafkatokudumysqltohive2.数据同步执行命令flinkx老版本命令参数：flinkx老版本执行命令：chunjun
chimchim66·2023-03-29 07:37

flinkx-web管理界面-LarkMidTable数据中台篇

LarkMidTablegitHub地址:https://github.com/wxgzgl/LarkMidTable方便推广开源产品，希望觉得不错的可以Star项目，可以加入我们一起研发！！！中文|EnglishLark中文名称云雀，云代表大数据，雀代表平凡和自由。LarkMidTable是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数据前台并提供
踏雪无痕2019·2022-12-25 03:07

数据集成技术概述-常见的CDC方案比对

实时增量数据集成的主要开源技术：canal、maxwell、Debezium、FlinkCDC、FlinkX的主要特点，并详细介绍了canal的架构。
IT转型指北·2022-11-27 21:40

Apache Flink Meetup · 上海站，超强数据湖干货等你！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主题，围绕湖仓一体架构实践、Iceberg
Apache Flink·2022-11-03 10:13

12月16日Molecule在Github、Gitee正式开源

截至目前数栈开源技术团队已在Github上开源了FlinkX、FlinkStreamSQL、EasyAgent等项目，取得了超过5000+star数和2000+Fork数。作为开源
数栈DTinsight·2022-06-07 18:00

数栈技术分享前端篇：TS，看你哪里逃~

数栈是—站式大数据开发平台，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，
数栈DTinsight·2022-06-07 18:28

DTMO直播预告丨ChunJun 2022年开源规划&支持异构数据源DDL转换与自动执行

课程介绍2018年4月，秉承着开源共享理念的数栈技术团队在github上开源了ChunJun（原FlinkX），历经4年多的发展，C
·2022-04-26 15:08

袋鼠云批流一体分布式同步引擎ChunJun（原FlinkX）的前世今生

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，是袋鼠云一站式大数据开发平台-数栈DTinsight的核心计算引擎，其技术架构基于实时计算框架Flink
·2022-04-26 11:21

数仓之spark数据采集

配置文件json参考alibaba开发的datax数据同步工具，及目前的flinkx数据同步工具，以json文件作为配置文件，主要分为reader模块，writer模块。
csdn_wr·2022-04-24 14:57

数据集成工具—FlinkX

@目录FlinkX的安装与简单使用FlinkX的安装FlinkX的简单使用读取mysql中student表中数据FlinkX本地运行MySQLToHDFSMySQLToHiveMySQLToHBaseMySQLToMySQLFlinkX
真好吃啊·2021-12-07 22:00

数栈技术分享前端篇：TS，看你哪里逃~

数栈是—站式大数据开发平台，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，
·2021-08-09 19:15

6月23日直播预告丨如何自定义Flink LookupTable

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
·2021-06-23 12:24

Agent生命周期管理框架—EasyAgent正式开源啦

同年FlinkX、FlinkStreamSQL相继上线，经过三年的发展，Star数分别达到2.2k和1.5k，位列Flink生态领域前茅，获得广泛的社区支持。
·2021-06-18 22:07

数栈技术分享：利用 Atomic 构建 React 项目工作流，so easy!

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
·2021-06-18 22:01

数栈技术分享：用短平快的方式告诉你Flink-SQL的扩展实现

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
·2021-06-18 22:15

数栈技术分享：OTS数据迁移——我们不生产数据，我们是大数据的搬运工

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
·2021-06-18 21:33

数栈产品分享：简析数据中台如何通过DataAPI实现数据共享

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
·2021-06-18 21:11

浅谈数据开发神器——数栈离线开发平台（BatchWorks）

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
数栈DTinsight·2021-04-21 14:42

数栈运维安全案例：某传媒企业两会期间安全护航

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，记得给我们点个star！star！star！
·2021-04-13 19:09

数栈FlinkX技术团队将FlinkX开源项目同步推送到Gitee啦！

之前我们在github上开源了我们的FlinkX项目，但是由于github经常出现打不开链接的情
·2021-04-12 21:05

数栈FlinkX技术团队将FlinkX开源项目同步推送到Gitee啦！

之前我们在github上开源了我们的FlinkX项目，但是由于github经常出现打不开链接的情
·2021-04-12 21:12

浅谈云原生系统日志收集在数栈的实践

本文整理自：浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！
·2021-04-09 16:05

浅谈云原生系统日志收集在数栈的实践

本文整理自：浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！
·2021-04-09 15:10

数栈数据安全案例：混合云环境数据库备份容灾实现

本文整理自：袋鼠云技术荟|数据安全(1)：混合云环境数据库备份容灾实现数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！
·2021-04-08 19:43

Apache Flink Meetup · 上海站，超强数据湖干货等你来！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主
·2021-04-08 19:26

Apache Flink Meetup · 上海站，超强数据湖干货等你来！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主
·2021-04-08 19:25

数栈数据安全案例：混合云环境数据库备份容灾实现

本文整理自：袋鼠云技术荟|数据安全(1)：混合云环境数据库备份容灾实现数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！
·2021-04-08 18:10

Apache Flink Meetup · 上海站，超强数据湖干货等你！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主
阿里云开发者·2021-04-08 16:16

Apache Flink Meetup · 上海站，超强数据湖干货等你！

4月17日|上海|线下来一场Flinkx数据湖的干货体验之旅～本次Meetup邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的四位技术专家，聚焦Flink数据湖应用主题，围绕湖仓一体架构实践、Iceberg
·2021-04-01 12:26

一文带你了解批流一体的高效数据同步插件—FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
·2021-03-31 21:05

Flink基础教程：FlinkX RDB介绍与基本演示

一、RDB模块介绍与演示针对关系型数据库，FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作，各个数据源可通过继承FlinkX-RDB模块实现各自逻辑，目前已支持绝大部分市面上的RDB数据源
·2021-03-31 21:00

带你详解数栈FlinkX实时采集原理与使用

一、FlinkX实时采集功能的基本介绍首先为大家介绍下FlinkX实时模块的分类，如下图所示：1、实时采集模块(CDC)1）MySQLBinlog插件利用阿里开源的Canal组件实时从MySQL中捕获变更数据
·2021-03-31 21:00

一文带你了解批流一体的高效数据同步插件—FlinkX

目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成
·2021-03-30 22:06

Flink基础教程：FlinkX RDB介绍与基本演示

一、RDB模块介绍与演示针对关系型数据库，FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作，各个数据源可通过继承FlinkX-RDB模块实现各自逻辑，目前已支持绝大部分市面上的RDB数据源
·2021-03-30 00:26
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他