fluent-kafka模块

fluent-kafka用于转发fluentd数据到kafka

git地址：https://github.com/fluent/fluent-plugin-kafka

安装方法：

gem 'fluent-plugin-kafka'

配置方式贡文大哥已经在KB界面给出了

http://www.uyunsoft.cn/kb/pages/viewpage.action?pageId=16024522#id-【01-02】分布式统一日志平台--实施手册-6、fluent优化

打开插件的源码，可以看到工程核心代码都在lib/fluent/plugin路径下：

in_kafka.rb (输入模块)

in_kafka_group.rb (带group的输入模块)

kafka_plugin_util.rb (util工具类)

kafka_producer_ext.rb (消息Producer类)

out_kafka.rb (不带buffer的输出模块)

out_kafka_buffered.rb (带buffer的输出模块)

Ruby也有OOP的语言特性

两个输入模块继承了大哥fluentd的方法Fluent::Input

两个输出模块模块继承了大哥fluentd的方法Fluent::Output

每个文件开头config_param是一些XML的解析字段，解析完成之后这些XML字段会直接变成常量参数，供代码调用。

其他的就是一些基本的方法，看看方法名应该就能猜出这个方法是做什么的：

kafka_producer_ext.rb模块主要是对message的一个封装：

总的来说fluent-plugin-kafka是对fluentd的一个override，根据kafka的一些特性封装了一些接口，供fluentd跟kafka对接。