Logstash的使用（从Kafka到ES）

• Logstash介绍

Logstash是一个数据收集处理转发系统，是 Java开源项目。 它只做三件事：输入、清洗过滤和输出。如下图：

logstash通过在配置文件编写输入（input），过滤清洗（filter），输出（output）相关规则，对数据收集转发。
具体可以在安装目录下的conf/目录下新建配置文件，如logstash_indexer.conf
如下

#输入
input {
   。。。
}
#加工过滤
filter {
   。。。
}
#输出
output {
   。。。
}

1.input实例
以kafka做为数据源，设置如下
zk_connect ：zk连接
group_id ：groupId
topic_id ：topic
consumer_id ：consumerId 对应以下kafka的Owner，前缀logstash_topic，后缀为线程