1. Kafka 集群安装

0. 规划

注意替换路径，本文中安装路径为 /data/wow/moudle/kafka
参考教程：尚硅谷大数据开发视频

• localhost-100
• localhost-102
• localhost-169

1. 下载

• http://kafka.apache.org/downloads.html

• 例如：kafka_2.11-0.11.0.2.tgz

2. 集群部署

解压安装包

tar -zxvf kafka_2.11-0.11.0.2.tgz -C /data/wow/module/

修改解压后的文件夹名称

mv /data/wow/module/kafka_2.11-0.11.0.2 /data/wow/module/kafka

在kafka目录下创建logs文件夹

mkdir /data/wow/module/kafka/logs

修改配置文件

cd config/

vim server.properties
---------------------

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径	
log.dirs=/data/wow/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=localhost-102:2181,localhost-100:2181,localhost-169:2181

---------------------------------------------------------------------------

配置环境变量

sudo vim /etc/profile
---------------------

# 末尾添加：

#KAFKA_HOME
export KAFKA_HOME=/data/wow/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

----------------------------------

# 生效配置：
source /etc/profile

# 测试
echo $KAFKA_HOME

3. 分发kafka到集群内的其他主机

1. 分发
cd /data/wow/module
xsync kafka

2. 逐台配置环境变量

3. 逐台修改 
/data/wow/module/kafka/config/server.properties 中的 ‘broker.id’
# 保证不重复即可

4. 启动与关闭

启动：在每个节点依次执行

bin/kafka-server-start.sh -daemon config/server.properties

关闭：在每个节点依次执行

bin/kafka-server-stop.sh stop

群起脚本

vim kafka-start-all.sh
----------------------

for i in `cat /data/wow/module/hadoop-2.7.2/etc/hadoop/slaves`
do
echo "========== $i ==========" 
ssh $i 'source /etc/profile&&/data/wow/module/kafka/bin/kafka-server-start.sh -daemon /data/wow/module/kafka/config/server.properties'
echo $?
done

----

chmod +x kafka-start-all.sh