DataX KafkaWriter 插件文档

DataX KafkaWriter 插件文档

最近学习使用datax工具， 发现阿里官方提供并没有kafkawriter插件，于是自己写了一个
该插件主要借鉴：datax插件开发宝典
然后在此基础上改造

源码：https://gitee.com/mjlfto/dataX/tree/master/kafkawriter

1 快速介绍

KakfaWriter提供向kafka中指定topic写数据。

2 功能与限制

目前kafkaWriter支持向单个topic中写入文本类型数据或者json格式数据

3 功能说明

3.1 配置样例

{  
   "job":{  
      "setting":{  
         "speed":{  
            "channel":1
         }
      },
      "content":[  
         {  
            "reader":{  
               "name":"oraclereader",
               "parameter":{  
                  "username":"zkcj",
                  "password":"zkcj2018",
                  "connection":[  
                     {  
                        "jdbcUrl":[  
                           "jdbc:oracle:thin:@10.1.20.169:1521:GYJG"
                        ],
                        "querySql":[  
                           "select * from VM_DRV_PREASIGN_A"
                        ]
                     }
                  ]
               }
            },
            "writer":{ 
		"name": "kafkawriter",
			  "parameter": {
			    "topic": "test-topic",
			    "bootstrapServers": "10.1.20.150:9092",
			    "fieldDelimiter":"\t",
			    "batchSize":10,
			     "writeType":"json",
			    "notTopicCreate":true,
			    "topicNumPartition":1,
			    "topicReplicationFactor":1
			  }
		 }
         }
      ]
   }
}

3.2 参数说明

• bootstrapServers

  • 描述：kafka服务地址，格式：host1:port,host2:port 样例：10.1.20.111:9092,10.1.20.121:9092
    

  • 必选：是
    

  • 默认值：无
    

• topic

  • 描述：kafka Topic 名称， 目前支持一次写入单个topic
    

  • 必选：是
    

  • 默认值：无
    

• ack

  • 描述：消息的确认机制，默认值是0

    acks=0：如果设置为0，生产者不会等待kafka的响应。
    acks=1：这个配置意味着kafka会把这条消息写到本地日志文件中，但是不会等待集群中其他机器的成功响应。
    acks=all：这个配置意味着leader会等待所有的follower同步完成。这个确保消息不会丢失，除非kafka集群中所有机器挂掉。这是最强的可用性保证。
    
    

  • 必选：否
    

  • 默认值：0
    

• batchSize

  • 描述：当多条消息需要发送到同一个分区时，生产者会尝试合并网络请求。这会提高client和生产者的效率
    
    默认值：16384

  • 必选：否
    

  • 默认值：16384
    

• retries

  • 描述：配置为大于0的值的话，客户端会在消息发送失败时重新发送：
    

    默认值：0

  • 必选：否
    

  • 默认值：0
    

• fieldDelimiter

  • 描述：当wirteType为text时，写入时的字段分隔符
    

    默认值：,（逗号）

  • 必选：否
    

  • 默认值：,
    

• keySerializer

  • 描述：键序列化，默认org.apache.kafka.common.serialization.StringSerializer
    

  • 必选：否
    

  • 默认值：org.apache.kafka.common.serialization.StringSerializer
    

• valueSerializer

  • 描述：键序列化，默认org.apache.kafka.common.serialization.StringSerializer
    

  • 必选：否
    

  • 默认值：org.apache.kafka.common.serialization.StringSerializer
    

• noTopicCreate

  • 描述：当没有topic时，是否创建topic，默认false
    

  • 必选：haveKerberos 为true必选
    

  • 默认值：false
    

• topicNumPartition

  • 描述：topic Partition 数量
    

  • 必选：否
    

  • 默认值：1
    

• topicReplicationFactor

  • 描述：topic replication 数量
    

  • 必选：否
    

  • 默认值：1
    

• writeType

  • 描述：写入到kafka中的数据格式，可选text, json
    
    text:使用fieldDelimiter拼接所有字段值作为key,value相同，然后写到kafka
    json:key和text格式相同，使用fieldDelimiter拼接所有字段值作为key，value使用datx内部column格式， 如下
    rawData为数据值，如果对象中没有该字段， 表示该值为null

      {  
         "data":[  
            {  
               "byteSize":13,
               "rawData":"xxxx",
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"1",
               "type":"STRING"
            },
            {  
               "byteSize":12,
               "rawData":"xxx",
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"A",
               "type":"STRING"
            },
            {  
               "byteSize":18,
               "rawData":"xxx",
               "type":"STRING"
            },
            {  
               "byteSize":3,
               "rawData":"xxx",
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"A",
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"0",
               "type":"DOUBLE"
            },
            {  
               "byteSize":8,
               "rawData":1426740491000,
               "subType":"DATETIME",
               "type":"DATE"
            },
            {  
               "byteSize":8,
               "rawData":1426780800000,
               "subType":"DATETIME",
               "type":"DATE"
            },
            {  
               "byteSize":1,
               "rawData":"E",
               "type":"STRING"
            },
            {  
               "byteSize":7,
               "rawData":"5201009",
               "type":"STRING"
            },
            {  
               "byteSize":6,
               "rawData":"520101",
               "type":"DOUBLE"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":3,
               "rawData":"xxx",
               "type":"STRING"
            },
            {  
               "byteSize":12,
               "rawData":"520181000400",
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"0",
               "type":"DOUBLE"
            },
            {  
               "byteSize":0,
               "subType":"DATETIME",
               "type":"DATE"
            },
            {  
               "byteSize":1,
               "rawData":"0",
               "type":"DOUBLE"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":78,
               "rawData":"xxx",
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"0",
               "type":"STRING"
            },
            {  
               "byteSize":8,
               "rawData":1426694400000,
               "subType":"DATETIME",
               "type":"DATE"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "subType":"DATETIME",
               "type":"DATE"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"DOUBLE"
            },
            {  
               "byteSize":1,
               "rawData":"0",
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":12,
               "rawData":"520181000400",
               "type":"STRING"
            },
            {  
               "byteSize":1,
               "rawData":"1",
               "type":"DOUBLE"
            },
            {  
               "byteSize":1,
               "rawData":"0",
               "type":"DOUBLE"
            },
            {  
               "byteSize":8,
               "rawData":1426740491000,
               "subType":"DATETIME",
               "type":"DATE"
            },
            {  
               "byteSize":2,
               "rawData":"xxx",
               "type":"STRING"
            },
            {  
               "byteSize":0,
               "type":"STRING"
            },
            {  
               "byteSize":28,
               "rawData":"YxIC7zeM6xG+eBdzxV4oRDxHses=",
               "type":"STRING"
            }
         ],
         "size":40
      }
    

  • 必选：否
    

  • 默认值：text
    

3.3 类型转换

目前 HdfsWriter 支持大部分 Hive 类型，请注意检查你的类型。

下面列出 HdfsWriter 针对 Hive 数据类型转换列表:

DataX 内部类型	HIVE 数据类型
Long	TINYINT,SMALLINT,INT,BIGINT
Double	FLOAT,DOUBLE
String	STRING,VARCHAR,CHAR
Boolean	BOOLEAN
Date	DATE,TIMESTAMP

4 配置步骤

5 约束限制

略

6 FAQ

略