zookeeper+kafka配置

ZooKeeper
安装
#将ZooKeeper解压到/usr/local中
tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local
cd /usr/local
#重命名
sudo mv zookeeper-3.4.6 zookeeper
cd zookeeper/conf
sudo cp zoo_sample.cfg zoo.cfg
配置
1.在zoo.cfg中追加以下内容：
#server.n=ip:portA:portB
#n是服务器标识号（1~255）
#ip是服务器ip地址
#portA是与leader进行信息交换的端口
#portB是在leader宕机后，进行leader选举所用的端口
server.1=200.31.157.116:20881:30881
server.2=200.31.157.116:20882:30882
server.3=200.31.157.117:20881:30881
注：
配置文件信息解析：
tickTime：毫秒级的基本时间单位，其他时间如心跳/超时等都为该单位时间的整数倍。
initLimit：tickTime的倍数，表示leader选举结束后，followers与leader同步需要的时间，leader的数据非常多或followers比较多时，该值应适当大一些。
syncLimit：tickTime的倍数，表示follower和observer与leader交互时的最大等待时间，是在与leader同步完毕之后，正常请求转发或ping等消息交互时的超时时间。
clientPort：监听客户端连接的服务端口，若一台服务器上安装多个ZooKeeper server，则需要设置不同的端口号。
dataDir：内存数据库快照地址，事务日志地址（除非由dataLogDir另行指定）。


2.在$dataDir下新建文件myid，并写入服务器标识号
#/tmp/zookeeper为dataDir
cd /tmp/zookeeper/
sudo vim myid
#在myid中添加服务器标识号


启动停止
#进入$ZOOKEEPER_HOME，运行zkServer.sh
#启动
sudo bin/zkServer.sh start &
#停止
sudo bin/zkServer.sh stop
#查看状态
sudo bin/zkServer.sh status


Kafka
安装
tar –zxvf  kafka_2.10-0.8.2.1.tgz –C /usr/local/
cd /usr/local
#重命名
sudo mv kafka_2.10-0.8.2.1 kafka

cd kafka/conf

配置
在配置文件server.properties修改如下内容：
#broker.id是broker的标识，具有唯一性
broker.id=0
#端口号默认为9092
port=9092
#host.name位kafka所在机器的ip
host.name=200.31.157.116
#设置zookeeper，可连接多个zookeeper服务器
zookeeper.connect=200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182


启动停止
#进入$KAFKA_HOME 
#启动
sudo bin/kafka-server-start.sh config/server.properties &
#停止

bin/kafka-server-stop.sh

生产/消费消息
#创建topic
bin/kafka-topics.sh --create --zookeeper 200.31.157.116:2182 --replication-factor 1 --partitions 1 --topic test
#生产消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#消费消息
bin/kafka-console-consumer.sh –zookeeper 200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182 --topic test --from-beginning