Kafka单机部署

Kafka单机部署

环境说明

• Red Hat 4.8.5-36
• JDK1.8
• Zookeeper-3.4.8
• kafka_2.11-0.10.1.1

Zookeeper单机版部署

部署步骤

1、下载zookeeper-3.4.8.tar.gz
2、解压tar -zxvf zookeeper-3.4.8.tar.gz
3、修改配置文件，将$ZOOKEEPER_HOME/conf/zoo_sample.cfg复制重命名为zoo.cfg，修改zoo.cfg
修改如下6个属性，主要是修改dataDir与dataLogDir

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/.../zookeeper-3.4.8/data
dataLogDir=/home/.../zookeeper-3.4.8/log
clientPort=2181

4、在设置的dataDir路径下添加文件myid在这个文件中echo 1作为单机版的节点id
5、设置zookeeper启动后，zookeeper.out日志输出位置
修改脚本$ZOOKEEPER_HOME/bin/zkEnv.sh

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="/.../zookeeper/log"
fi

启动测试

1、进入$ZOOKEEPER_HOME/bin路径下 ./zkServer.sh start
2、./zkServer.sh status查看启动状态或者jps命令查看服务。QuorumPeerMain表示zookeeper服务

11729 QuorumPeerMain
24982 Jps

Kafka单机版部署

部署步骤

1、下载kafka_2.11-0.10.1.1.tgz
2、解压tar -zxvf kafka_2.11-0.10.1.1.tgz
3、设置kakfa环境变量,修改/etc/profile文件添加如下配置，然后source /etc/profile使其生效

export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
export PATH=$PATH:$KAFKA_HOME/bin

命令行输入kafka，Tab键检查是否自动提示bin目录下命令检查是否配置成功
3、修改配置文件：$KAFKA_HOME/config目录下的server.properties
设置如下参数，其他参数使用默认值，broker.id对应zookeeper中myid中的数值

broker.id=1

port=9092
host.name=localhost
# kafka代理地址
listeners=PLAINTEXT://:9092

log.dirs=/home/panfudong/soft/kafka/kafka_2.11-0.10.1.1/kafka-logs

zookeeper.connect=localhost:2181

启动测试

1、进入$KAFKA_HOME/bin路径
2、./kafka-server-start.sh --daemon ../config/server.properties启动kafka
3、使用jps命令查看进程出现Kafka表明启动成功
4、如果失败去$KAFKA_HOME/logs下查看server.log日志