技术贴——kafka集群安装

一、安装环境

1.多台Linux服务器

2.已经安装好zookeeper的集群（安装zookeeper的步骤可以查看前篇文章）

3.下载kafka

点击选择需要下载的kafka版本

或者直接在服务器上面下载：

1

wgethttp://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

二、安装kafka

创建项目目录：

创建kafka项目目录，最好是将多有的集群项目都放在一个目录下面，方便管理各类项目。博主是将所有的集群项目都放在/opt下面。

1

2mkdir/opt/kafka#创建kafka项目目录

mkdir /opt/kafka/kafkalogs #创建kafka项目的日志目录

安装kafka：

1

2

3tar xzvf kafka-0.8.0-beta1-src.tgz -C/opt/kafka/#解压kafka到指定目录下

cd /opt/kafka/ #到解压kafka的目录

mv kafka-0.8.0-beta1-src kafka #重命名

三、修改配置文件

配置文件目录：

kafka的配置文件都存放在/opt/kafka/kafka/config/

1

2cd/opt/kafka/kafka/config/

ll#查看kafka所有的配置文件

修改配置文件：

主要修改server.properties：

broker.id=0#当前机器在集群中的唯一标识，和zookeeper的myid性质一样

port=19092#当前kafka对外提供服务的端口默认是9092

三、开启并使用kafka

开启kafka服务：

1.首先要确保已经开启了zookeeper服务:

1

/opt/zookeeper/zookeeper/bin/zkServer.sh start#开启zookeeper服务

2.后台开启kafka：

1

2nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties & #后台挂起kafka服务 nohup  &

ps -ef | grepjava| grep -v grep #查看当前的java进程，zookeeper与kafka都是基于java

3.kafka基本操作：

创建topics

1

/opt/kafka/bin/kafka-topics.sh --zookeeper 192.168.221.138:2181 --create --topictest--replication-factor 1 --partition 1#新建主题 连接zookeeper --create 创建主题 --topic 主题名 --replication-factor 副本因子 --partitions 分为几个区

发消息

1

bin/kafka-console-producer.sh --broker-list localhost:9092--topic test >/dev/null#producer发送消息  发送给broker

收消息

1

bin/kafka-console-consumer.sh --zookeeper localhost:2181--topic test --from-beginning2>/dev/null#consumer接收消息 连接zookeeper服务器  --from-beginning 接收历史消息

四、总结

Note:

1.开启kafka之前必须要开启zookeeper

2.注意生产者连接broker端口号默认9092；消费者连接zookeeper端口号默认2181

3.创建主题时，设置分区为集群服务器数的两倍或多倍，可有效避免消息发送和接收的读写热点

^f�[?m