Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架,目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算,支持JSON模版配置任务,兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。

文章目录

  • 配置文件结构详解
  • Content配置
    • Reader
    • Writer
    • Setting 配置
      • Speed
      • ErrorLimit
      • MetricPluginConf
        • Prometheus
        • Mysql
        • Restore
      • Log
  • 往期文章
    • clickhouse
    • 数据仓库

配置文件结构详解

一个完整的ChunJun任务脚本配置包含contentsetting两个部分。content用于配置任务的输入源与输出源,其中包含readerwriter。而setting则配置任务整体的环境设定,其中包含speederrorLimitmetricPluginConfrestorelogdirty。总体结构如下所示:

{
   
  "job": {
   
    "content": [
      {
   
        "reader": {
   },
        "writer": {
   }
      }
    ],
    "setting": {
   
      "speed": {
   },
      "errorLimit": {
   },
      "metricPluginConf": {
   },
      "restore": {
   },
      "log": {
   },
      "dirty": {
   }

你可能感兴趣的:(大数据,数据仓库,Flinkx,chunjun,配置)