kafka安装

http://kafka.apache.org/

---

1.zookeeper集群搭建

（1）解压zookeeper安装包，并创建，data和log目录

Paste_Image.png

（2）配置：进到conf目录下，把zoo_sample.cfg修改成zoo.cfg（这一步是必须的，否则zookeeper不认识zoo_sample.cfg），并添加如下内容

Paste_Image.png

Paste_Image.png

（3）进入data目录
echo 1 > myid
（4）把zookeeper-3.4.5整个目录复制到其他节点
scp -r /root/install/zookeeper-3.4.5 root@spark2:/root/install/
（5）登录到spark2节点，修改myid文件里的值，将其修改为2
cd zookeeper-3.4.5/data
echo 2 > myid
（6）在master,slave1，slave2两个节点上分别启动zookeeper
cd /root/install/zookeeper-3.4.5
bin/zkServer.sh start

Paste_Image.png

（7）查看进程进否成在

Paste_Image.png

也可
bin/zkServer.sh status

Paste_Image.png

Paste_Image.png

6.配置参数

（1）事件单位

Paste_Image.png

（2）zk集群启动的时间

（3）slave和leader同步时间，心跳时间

Paste_Image.png

2.kafka集群搭建

（1）tar -zxvf kafka_2.10-0.8.1.1.tgz
（2）vi /opt/kafka/config/server.properties

broker.id=1
port=9092
log.dirs=/opt/kafka/tmp
host.name=master
zookeeper.connect=master:2181,slave1:2181,slave2:2181

注：把host.name改成相应的主机名；broker.id不能相同，逐个加1便可。
（3）启动ZooKeeper
（4）启动kafka
在kafka的部署目录下，在各个节点上通过如下命令来启动：
kafka-server-start.sh config/server.properties &
（5）使用jps命令可以查看，kafka 的 broker 服务是否打开
（6）测试
创建Topic

bin/kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic mytopic --replication-factor 1 --partitions 1 --create

Topic列表

bin/kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --list

生产者测试

bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic mytopic

消费者测试

bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic mytopic--from-beginning

---

常用命令大全
1.查看topic的详细信息
./kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -describe -topic testKJ1
2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper master:2181,slave1:2181,slave2:2181 -reassignment-json-file json/partitions-to-move.json -execute
3、创建topic
./kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic testKJ1
4、为topic增加partition
./bin/kafka-topics.sh –zookeeper master:2181,slave1:2181,slave2:2181 –alter –partitions 20 –topic testKJ1
5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list master:2181,slave1:2181,slave2:2181 --topic testKJ1
6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning --topic testKJ1
7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties
8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper master:2181,slave1:2181,slave2:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60shutdown broker
9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper master:2181,slave1:2181,slave2:2181