kafka_2.10-0.8.2.1集群搭建和简单使用

1.解压kafka
 tar -zxvf kafka_2.10-0.8.2.1 -C /software

2.1在hadoop节点修改配置文件
   config/server.properties
        broker.id=0    #代理的id
        host.name=hadoop #主机名
        log.dirs=log.dirs=/usr/local/software/kafka_2.10-0.8.2.1/kfkdata  #日志存放地址
        num.partitions=2  #设置分区数据
        zookeeper.connect=hadoop:2181,hadoop1:2181,hadoop2:2181 #设置zookeeper地址

2.2将kafka_2.10-0.8.2.1解压文件复制到其他节点
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop1:/usr/local/software
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop2:/usr/local/software

2.3.1在hadoop1节点修改
    /usr/local/software/config/server.properties
            broker.id=1    #代理的id
            host.name=hadoop1 #主机名

2.3.2在hadoop2节点修改
    /usr/local/software/config/server.properties
            broker.id=2    #代理的id
            host.name=hadoop2 #主机名
            
            

启动kafka（在启动zookeeper基础上）
      bin/kafka-server-start.sh config/server.properties   #每个broker都要启动
后台启动
     nohup kafka-server-start.sh config/server.properties &
创建一个叫test的主题，
     bin/kafka-topics.sh --create --zookeeper hadoop:2181 --replication-factor 1 --partitions 1 --topic test
列出主题名字
     bin/kafka-topics.sh --list --zookeeper hadoop:2181
打开test主题的数据生产者
     bin/kafka-console-producer.sh --broker-list hadoop:9092 --topic test
打开test主题的主题消费者
    bin/kafka-console-consumer.sh --zookeeper hadoop:2181 --topic test --from-beginning

转载于:https://my.oschina.net/u/3271870/blog/839539