kafka集群输出到elk集群，分析显示搭建

zk 3个服务分别在三个主机上，kafka服务3个同上，elasticsearch服务3个同上，以上三个服务配置文件在三台机器上基本一样，只需改一下ip等信息。

logstash一个在131，kibana1个在131

 

 

zk配置 zoo.cfg   ./zk/bin/zkServer.sh start

tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/home/elsearch/zk/data
server.1=192.168.1.123:2888:3888
server.2=192.168.1.131:2888:3888
server.3=192.168.1.139:2888:3888

zk设置别忘了添加data下的myid文件内容为2。

 

kafka配置 server.properties  ./kafka/bin/kafka-server-start.sh -daemon   kafka/config/server.properties

broker.id=2
#port=9092
host.name=ka2
listeners=PLAINTEXT://ka2:9092
advertised.listeners=PLAINTEXT://ka2:9092
log.dirs=/home/elsearch/kafka/kafka-logs
# 注意这里的是kafka的存储目录。并不是存放日志的目录，当你启动kafka的时候，会自动在当前目录下生成一个log专门存放kafka的日志文件。如果没有需创建
zookeeper.connect=192.168.1.139:2181,192.168.1.131:2181,192.168.1.123:2181
#这里可以是主机名，也可以是ip，但是填写的是主机名，就必须在/etc/hosts文件下进行解析才可以生效

 

elasticsearch