Kafka数据导入导出

用命令行方式读写 Kafka 玩玩还行，真正投入实际使用时，往往需要把数据导入到 Kafka 或导出 Kafka 数据到本地文件中。这里我们学习一下怎么实现这个功能。

 

先创建一个本地源数据文件：

 

echo -e "foo\nbar" > test.txt

 

然后我们启动一个独立（standalone）模式的连接：

 

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties &

 

上述命令行指定了三个配置文件，一个是独立模式连接的配置文件，一个是导入数据相关的配置文件，最后一个是导出数据相关的配置文件。

这个命令执行的时候创建了一个独立模式的 Kafka 连接进程，进程中创建了两个连接：一个是源连接（对应 connect-file-source.properties 的配置信息），它从输入文件中逐行读取数据发布到 Kafka 主题上；另一个是读取连接（对应 connect-file-sink.properties 的配置信息），它从一个 Kafka 主题中读取数据写入到输出文件中。

test.sink.txt 文件是在 connect-file-sink.properties 中配置的输出文件，我们来查看一下这个文件：

 

cat test.sink.txt
foo
bar

 

看起来数据导出成功。我们通过消费者命令行可以看到连接导入 Kafka 主题上的数据：

 

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}

 

需要注意的是源连接会不断地把新增的源数据导入到 Kafka 主题中，比如我们这样追加一行数据到源数据文件：

 

echo "Another line" >> test.txt

 

在消费者命令行和导出数据文件中马上就出现了这一行。