kafka（自带zookeeper）集群搭建
CentOs6.5安装Kafka集群步骤
1.配置单个虚拟机
1.1下载kafka安装包
打开浏览器，输入网址： http://kafka.apache.org/downloads.html。
每台机器的环境：CentOs 6.5 ，Java 1.8 ,kafka2.11自带Zookeeper。
1.2压缩包操作
下载完成后，打开终端，在命令行输入 cd /Download，然后输入ls，可以看到下载kafka压缩包，
在命令行输入:
cp kafka_2.11-2.1.0.tgz /usr/local/ 拷贝到该文件夹下
cd /usr/local/ 进入文件
tar -zxvf kafka_2.11-2.1.0.tgz 解压压缩包
rm -rf kafka_2.11-2.1.0.tgz删除压缩包
mv kafka_2.11.0.10.0.1
虚拟环境
① 每台机器的环境：CentOs 6.5，Java 1.8，kafka2.11自带（Zookeeper）
② 三台虚拟机的ip地址为：192.168.0.173，192.168.0.174，192.168.0.176
2.配置kafka文件
2.1创建日志文件夹
cd /usr/local/kafka/kafka_2.11.0.10.0.1/
mkdir log 创建日志文件夹
cd log
mkdir kafka
mkdir zookeeper
cd ..
mkdir zookeeper 创建zookeeper文件
cd zookeeper
创建myid文件，进入/usr/local/kafka/kafka_2.11.0.10.0.1/zookeeper，创建myid文件，将三个服务器上的myid文件分别写入1，2，3。myid是zk集群用来发现彼此的标识，必须创建，且不能相同。
vim myid 输入1 保存。
cd ..
cd config
2.2建立zk集群
直接使用kafka自带的zookeeper建立zk集群，修改zookeeper.properties文件。
vim zookeeper.propertics修改配置：
dataDir=/usr/local/kafka/kafka_2.11.0.10.0.1/zookeeper
dataLogDir=/usr/local/kafka/kafka_2.11.0.10.0.1/log/zookeeper
clientPort=2182
maxClientCnxns=100
ticketTime=2000
initLimit=10
syncLimit=5
server.1=192.168.0.173:2888:3888
server.2=192.168.0.174:2888:3888
server.3=192.168.0.176:2888:3888
Esc:wq保存。
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
三个机器上的zookeeper.properties文件配置相同，需要注意的是日志保存的路径，不会自动生成，需要自己手动建立相关的路径， dataLogDir是我自己加的，日志文件太多，把日志文件区分开。
进入kafka目录 执行启动zookeeper命令：
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三台机器都执行启动命令，查看zookeeper的日志文件，没有报错就说明zookeeper集群启动成功了。
搭建kafka集群，修改server.properties配置文件：
vim server.properties
broker.id = 0
port = 9092
hostname=192.168.0.173
log.dirs=/usr/local/kafka/kafka_2.11.0.10.0.1/log/kafka
zookeeper.connect=192.168.0.173:2182, 192.168.0.174:2182, 192.168.0.176:2182
server.properties配置文件的修改主要在开头和结尾，中间保持默认配置即可；需要注意的点是broker.id的值三个节点要配置不同的值，分别配置为0，1，2；log.dirs必须保证目录存在，不会根据配置文件自动生成。
3.克隆虚拟机
3.1克隆虚拟机
填入虚拟机名字: Kafka-cluster-2,点击clone。
点击clone，创建3号虚拟机。
填入虚拟机名字: Kafka-cluster-3，点击clone。
3.2修改虚拟机kafka配置文件
先修改Kafka-cluster-2虚拟机配置文件。打开终端输入：
cd /usr/local/kafka/kafka_2.11.0.10.0.1/config/
vim server.properties
broker.id=1
port = 9092
hostname=192.168.0.174
log.dirs=/usr/local/kafka/kafka_2.11.0.10.0.1/log/kafka
zookeeper.connect=192.168.0.173:2182, 192.168.0.174:2182, 192.168.0.176:2182
将三个服务器上的myid文件分别写入1，2，3。myid是zk集群用来发现彼此的标识，必须创建，且不能相同。
vim /usr/local/kafka/kafka_2.11.0.10.0.1/zookeeper/myid
修改里面的数字把1改成2。
再修改Kafka-cluster-3虚拟机配置文件。打开终端输入：
cd /usr/local/kafka/kafka_2.11.0.10.0.1/config/
vim server.properties
broker.id=2
bort = 9092
hostname=192.168.0.176
log.dirs=/usr/local/kafka/kafka_2.11.0.10.0.1/log/kafka
zookeeper.connect=192.168.0.173:2182, 192.168.0.174:2182, 192.168.0.176:2182
将三个服务器上的myid文件分别写入1，2，3。myid是zk集群用来发现彼此的标识，必须创建，且不能相同。
vim /usr/local/kafka/kafka_2.11.0.10.0.1/zookeeper/myid
修改里面的数字把1改成3。
4.kafka集群测试
4.1启动zookeeper集群
在jiqun---yin1终端中输入：cd /usr/local/kafka/kafka_2.11.0.10.0.1
输入./bin/zookeeper-server-start.sh config/zookeeper.properties &
同理在Kafka-cluster-2终端和Kafka-cluster-3终端中输入：cd /usr/local/kafka/kafka_2.11.0.10.0.1，然后输入：./bin/zookeeper-server-start.sh config/zookeeper.properties &
4.2启动kafka集群
分别在jiqun---yin1、Kafka-cluster-2、Kafka-cluster-3虚拟机终端上输入指令：
bin/kafka-server-start.sh config/server.properties & 
注意：假如启动失败，继续安装scala安装包，并且将把slf4j-nop-1.7.6.jar 包(自行下载)复制到kafka libs目录下面
4.3创建一个topic
在jiqun---yin1上 kafka_2.11.0.10.0.1目录下终端中输入：
bin/kafka-topics.sh --create --zookeeper 192.168.0.173:2182, 192.168.0.174:2182, 192.168.0.176:2182 --replication-factor 3 --partitions 1 --topic mykafka
4.4查询详细信息
在jiqun---yin1 kafka_2.11.0.10.0.1目录下终端中输入：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.155:2181,192.168.0.172:2181, 192.168.0.169:2181
如图所示，topic：mykafka已将创建成功。
4.5发送消息
在jiqun---yin1，kafka目录下终端中输入：
bin/kafka-console-producer.sh --broker-list 192.168.0.173:9092,192.168.0.174:9092,192.168.32.176:9092 –topic mykafka
4.6接收信息
在Kafka-cluster-2，kafka目录下终端中输入：bin/kafka-console-consumer.sh --zookeeper 192.168.0.173:2182, 192.168.0.173:2182, 192.168.0.173:2182 --topic mykafka --from-beginning
