kafka集群(三台)部署

1. 安装java(三台)

2. 安装zookeeper(三台)

  1. 上传zookeeper-3.5.4-beta.tar.gzz
  2. 解压
 tar -zxvf zookeeper-3.5.4-beta.tar.gz -C /opt/
  1. 编辑配置文件
cd /opt/zookeeper-3.5.4-beta/conf/
 cp zoo_sample.cfg zoo.cfg
 vim zoo.cfg
# Zookeeper 服务器之间维持心跳的时间间隔,毫秒为单位
tickTime=2000
#对于从节点最初连接到主节点时的超时时间,单位为tick值的倍数
initLimit=10
#对于主节点与从节点进行同步操作时的超时时间,单位为tick值的倍数
syncLimit=5
#数据存放目录
dataDir=/opt/zoo/data
#客户端所连接的服务器所监听的端口号,默认是2181。即zookeeper对外提供访问的端口号
clientPort=2181  
maxClientCnxns=500  
server.0=10.202.43.147:2888:3888
server.1=10.202.82.148:2888:3888
server.2=10.202.41.201:2888:3888
mkdir -p /opt/zoo/{data,logs}
vim /opt/zoo/data/myid

在三台机器的myid分别写入0,1,2
4. 启动zookeeper

 cd /opt/zookeeper-3.5.4-beta/bin/
 ./zkServer.sh start
# 查看启动状态
sh zkServer.sh status
#关闭
 ./zkServer.sh stop

3. kafka(三台)

  1. 解压
tar -xvf kafka_2.11-0.10.0.1.tgz -C /opt/
  1. 修改配置文件
 vim /opt/kafka_2.11-0.10.0.1/config/zookeeper.properties 
dataDir=/opt/zoo/data
#该目录是zookeeper配置的数据存放目录
 vim /opt/kafka_2.11-0.10.0.1/config/server.properties
#分别为0,1,2
broker.id=0
#本机IP(kafka的监听地址和外界连接地址)
listeners=PLAINTEXT://10.202.43.147:9092
advertised.listeners=PLAINTEXT://10.202.43.147:9092
#zookeeper配置
zookeeper.connect=10.202.43.147:2181,10.202.82.148:2181,10.202.41.201:2181
  1. 启动和关闭
cd  /opt/kafka_2.11-0.10.0.1/bin/

./kafka-server-start.sh -daemon  ../config/server.properties

#关闭
./kafka-server-stop.sh
  1. 在任意一台机器上测试
/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

如果显示下面指令,就代表创建topic成功。

Created topic "test".

你可能感兴趣的:(kafka,大数据,zookeeper)