chunjun

数据同步工具chunjun(flinkx)-1.12.7 使用tips

目录本文旨在记录chunjun使用过程中的tips，并且记录与官网描述不符的地方，以减少学习成本1、在编写json的时候推荐使用在线json编辑器：2、类似MySQLMySQL这种需要编写带jdbcUrl
省略号的搬运工·2024-01-12 01:36

Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法
张飞的猪大数据·2024-01-07 12:13

【chunjun-bugfix】【flink sql元数据解析原理】多任务同时输出到同一数据源（HDFS、HIVE）时出现数据丢失的问题处理 与flink sql元数据解析原理

文章目录一.问题描述二.问题分析1.flink-sql任务运行主要逻辑分析1.1.jobmanager构建作业的行为1.2.taskmanager执行作业行为2.chunjun中hdfs连接器运行时关于
roman_日积跬步-终至千里·2023-11-11 21:14

大数据安全

KerberosKerberos身份验证在ChunJun中的落地实践https://developer.aliyun.com/article/1115235https://developer.aliyun.com
bigdata-余建新·2023-10-09 15:38

Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka
自橙一派·2023-09-26 12:23

开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践

本期我们带大家回顾一下无倦同学的直播分享《ChunJun类加载器隔离》，ChunJun类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，
袋鼠云数栈·2023-09-26 12:50

致谢每一位ChunJun Contributor！这里有一份礼物等你领取！

作为一个批流统一的数据集成框架，秉承着易用、稳定、高效的目标，ChunJun于2018年4月29日在Github上将内核源码正式开放。
袋鼠云数栈·2023-09-26 12:50

ChunJun源码分析——任务提交

ChunJun源码分析——任务提交任务提交的参数配置解析ChunJun任务-SYNCChunJun任务-SQL版本ChunJun1.12注：阅读过Spark任务提交、Flink任务提交源码的朋友，应该可以看出
蒋含竹·2023-09-26 12:20

ChunJun: 自定义插件

序言Chunjun的版本兼容可能会有问题,在我们了解了自定义插件后,在修改源码以应对不同的场景就会得心应手了,针对Chunjun1.12.Release版本说明[email protected]
cuiyaonan2000·2023-09-26 12:19

ChunJun(OldNameIsFlinkX)

序言ChunJun主要是基于Flink实时计算框架,封装了不同数据源之间的数据导入与导出功能.我们只需要按照ChunJun的要求提供原始与目标数据源的相关信息给Chunjun,然后它会帮我们生成能运行与
cuiyaonan2000·2023-09-21 05:45

用 flink 插件chunjun实现全量+增量同步-达梦数据库到postgresql

用flink插件chunjun实现全量+增量同步，这里以达梦数据库同步到postgresql数据库为例。
恬毅·2023-09-20 09:32

@全体开发者们，ChunJun 有奖征文，精美奖品，快来参加！

2022年4月，在FlinkX进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为ChunJun。到目前为止，ChunJun正式更名上线已经过了一年多了。
袋鼠云数栈·2023-09-15 15:05

揭秘 ChunJun：如何实现 e2e&session 日志隔离

本文将从e2e的基本介绍，e2e的使用与扩展，session日志隔离三个维度为大家带来ChunJune2e&session日志隔离的分享。大量具体代码和演示请看视频教程⬇️视频课程：https://www.bilibili.com/video/BV1ru411P7oZ/?spm_id_from=333.999.0.0课件获取：https://www.dtstack.com/resources/10
袋鼠云数栈·2023-09-15 15:59

ChunJun编译记录

离线按照依赖：mvninstall:install-file-DgroupId=com.pivotal-DartifactId=greenplum-jdbc-Dversion=5.1.4-Dpackaging=jar-Dfile=../../GREENPLUM_5.1.4.000275.jarmvninstall:install-file-DgroupId=com.esen.jdbc-Dartif
临风赏月·2023-09-13 17:48

国产开源流批统一的数据同步工具Chunjun入门实战

文章目录概述定义特性部署安装版本对应关系通用配置详解整体配置Content配置Setting配置Local提交Standalone提交Json方式使用SQL方式使用MySQLSinkKafkaSink概述定义Chunjun
IT小神·2023-08-04 04:56

批量生成ChunJun json任务脚本

最近在研究chunjun，它是一款稳定、易用、高效、批流一体的数据集成框架。一直在用chunjun做数据抽取测试，json任务重复地在写，感觉十分浪费时间，于是想写个自动生成json脚本。
只爱大锅饭·2023-08-01 19:38

开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka
袋鼠云数栈·2023-07-14 07:38

ChunJun FTP Connector 功能扩展解读

本文将从FTPConnector的功能详解，自定义文件切割及自定义FileFormat三个方面为大家带来ChunJunFTPConnector的功能扩展分享。FTPConnector详解FTP是用于在网络上进行文件传输的一套标准协议，它工作在OSI模型的第七层，TCP模型的第四层，即应用层，提供一种在服务器和客户机之间上传和下载文件的有效方式。FTPConnector基本功能ChunJunFTPC
袋鼠云数栈·2023-06-14 00:10

flink任务处理下线流水数据，数据遗漏不全（三）

发现chunjun的代码运行不到5h以后，如果网络不稳定，断开mqtt链接以后，就会永远也连接不上了，更短命！！
qq_37591637·2023-04-21 11:40

纯钧（ChunJun，原名FlinkX）框架学习

目录一、背景二、概念三、特性四、工作原理五、快速开始1.数据同步任务模版kafkatokudumysqltohive2.数据同步执行命令flinkx老版本命令参数：flinkx老版本执行命令：chunjun
chimchim66·2023-03-29 07:37

Kerberos身份验证在ChunJun中的落地实践

Kerberos，在古希腊神话故事中，指的是一只三头犬守护在地狱之门外，禁止任何人类闯入地狱之中。那么在现实中，Kerberos指的是什么呢？一、Kerberos介绍01Kerberos是什么根据百度词条释义，Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。Kerberos旨在通过密钥加密技术为客户端/服务器应用程序提供身份验证，主要用在域环境下的
数栈DTinsight·2022-12-17 19:32

ChunJun框架在数据还原上的探索和实践 | Hadoop Meetup精彩回顾

Hadoop是Apache基金会旗下最知名的基础架构开源项目之一。自2006年诞生以来，逐步发展成为海量数据存储、处理最为重要的基础组件，形成了非常丰富的技术生态。作为国内顶尖的Hadoop开源生态技术峰会，第四届ChinaApacheHadoopMeetup于2022年9月24日在上海成功举办。围绕“云数智聚砥柱笃行”的主题，来自华为、阿里、网易、字节跳动、bilibili、平安银行、袋鼠云、英
·2022-10-10 15:34

开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践

本期我们带大家回顾一下无倦同学的直播分享《ChunJun类加载器隔离》，ChunJun类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，
·2022-10-09 17:28

开源直播课丨高效稳定易用的数据集成框架——ChunJun类加载原理与实现

一、直播介绍前几期，我们为大家分享了ChunJun的数据还原、Hive事务表及传输模块的一些内容，本期我们为大家分享ChunJun类加载原理与实现。
·2022-09-20 20:54

ChunJun&OceanBase联合方案首次发布：构建一体化数据集成方案

8月27日，ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。
·2022-09-16 12:07

开源公开课丨ChengYing安装原理剖析

二、直播主题ChunJun安装原理剖析三、直播时间时间：2022年8月31日晚19:0
·2022-08-31 11:39

OceanBase&ChunJun联合Meetup丨邀您齐聚杭州，共享开源盛会

ChunJun社区的开发者们请您查收一份来自杭州的邀请函8月27日下午14:00-17:00杭州·方远海智中心8号楼ChunJun将联合OceanBase举办线下Meetup《构建新型的企业级数仓解决方案
·2022-08-24 15:18

开源交流丨批流一体数据集成框架ChunJun数据传输模块详解分享

课件获取：关注公众号“ChunJun”，后台私信“课件”获得直播课件视频回放：点击这里ChunJun开源项目地址：github丨gitee喜欢我们的项目给我们点个__STAR！STAR！！
·2022-08-24 11:28

您有一份ChunJun实用指南，请查收

ChunJun是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步/数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。
·2022-08-19 12:20

Hi，我是ChunJun，一个有趣好用的开源项目

Hi，我是ChunJun，一个有趣好用的开源项目。今天我们正式开通了自己的公众号！欢迎大家关注~数字经济时代，各行各业数字化转型大趋势下，数据要素成为关键。
·2022-08-15 18:03

开源公开课丨ChunJun数据传输模块介绍

一、直播介绍之前的内容，我们为大家分享了ChunJun数据还原的DDL模块，以及ChunJun同步Hive事务表，本期我们为大家分享ChunJun数据传输模块介绍。
·2022-08-15 11:32

开源交流丨批流一体数据集成工具 ChunJun 同步 Hive 事务表原理详解及实战分享

原文链接：批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享课件获取：关注公众号__“数栈研习社”，__后台私信__“ChengYing”__获得直播课件视频回放：点击这里ChengYing
·2022-07-12 20:20

开源交流丨批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享

原文链接：批流一体数据集成工具ChunJun同步Hive事务表原理详解及实战分享课件获取：关注公众号__“数栈研习社”，__后台私信__“ChengYing”__获得直播课件视频回放：点击这里ChengYing
·2022-07-12 19:19

流批一体开源项目ChunJun技术公开课——ChunJun同步Hive事务表

一键直达直播间一、直播介绍上两期渡劫同学为大家分享了ChunJun数据还原的DDL模块，想必大家对这一模块有了比较深入的了解，本期无倦同学将会为大家分享ChunJun同步Hive事务表的相关内容，直播将从
·2022-07-04 16:20

基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享

原文链接：基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享课件获取：关注公众号“数栈研习社”，后台私信“ChunJun”获得直播课件视频回放：点击这里ChunJun开源项目地址
·2022-06-30 20:39

开源技术交流丨批流一体数据同步引擎ChunJun数据还原-DDL功能模块解析

一、直播介绍上期渡劫老师为大家分享了《ChunJun支持异构数据源DDL转换与自动执行》，为大家介绍了数据还原的基本内容，本期渡劫老师将会对数据还原的内容做进一步的分享。
·2022-06-23 00:17

ChunJun支持异构数据源DDL转换与自动执行 丨DTMO 02期回顾（内含课程回放+课件）

导读：4月26日晚，ChunJun项目核心成员、袋鼠云数栈大数据引擎开发专家渡劫为大家带来分享《ChunJun支持异构数据源DDL转换与自动执行》，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解
·2022-05-07 09:45

DTMO直播预告丨ChunJun 2022年开源规划&支持异构数据源DDL转换与自动执行

课程介绍2018年4月，秉承着开源共享理念的数栈技术团队在github上开源了ChunJun（原FlinkX），历经4年多的发展，C
·2022-04-26 15:08

袋鼠云批流一体分布式同步引擎ChunJun（原FlinkX）的前世今生

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，是袋鼠云一站式大数据开发平台-数栈DTinsight的核心计算引擎，其技术架构基于实时计算框架Flink
·2022-04-26 11:21

git merge request项目管理

开发流程：1.建立开发分支1.建立自己的开发分支：develop_chunjun，develop_dan，develop_zikang2.clone分支到本地gitcheckout-bdevelop_chunjunorigin
才华惊动警方·2020-02-07 10:07
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他