Linux以及windows下kafka的安装
Kafka的安装
Windows
一、安装JDK
1.JDK下载路径
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.按照网上参考步骤，依次配置JAVA_HOME、Classpath和Path，然后打开cmd，运行java -version成功，则JDK配置成功；
二、安装Zookeeper
由于Kafka的运行依赖于Zookeeper，所以在运行Kafka之前需要安装并运行Zookeeper
1.Zookeeper下载路径
http://zookeeper.apache.org/releases.html#download
2.解压到文件下（我的目录是 D:\WorkSoftware\zookeeper-3.4.12）
3.打开D:\WorkSoftware\zookeeper-3.4.12\conf，复制zoo_sample.cfg重命名成zoo.cfg
4.编辑zoo.cfg，修改dataDir为【dataDir=D:/WorkSoftware/zookeeper-3.4.12/data】
5.添加环境变量
ZOOKEEPER_HOME D:\WorkSoftware\zookeeper-3.4.12
Path 在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin;
6.打开cmd，运行Zookeeper---zkserver
C:\Users\Administrator>d:
D:\>cd D:\WorkSoftware\zookeeper-3.4.12\bin
D:\WorkSoftware\zookeeper-3.4.12\bin>zkserver
三、安装Kafka
1.Kafka下载路径 http://kafka.apache.org/downloads
2.解压文件（我的目录是D:\WorkSoftware\kafka_2.11-1.1.1【这里不要在Program Files等文件名之间有空格的目录下，不然一会执行会不识别路径】）
3.打开目录D:\WorkSoftware\kafka_2.11-1.1.1\config下server.properties文件，把log.dirs修改为【log.dirs=D D:\WorkSoftware\kafka_2.11-1.1.1\logs】
4.进入kafka文件目录D:\WorkSoftware\kafka_2.11-1.1.1，执行以下命令，启动kafka通讯的服务器broker
.\bin\windows\kafka-server-start.bat .\config\server.properties
5.进入kafka文件目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows，创建kafka的消息topics
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
6.分别打开两个cmd窗口，进入目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows，创建Producer和Consumer
（1）Producer
进入目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows输入如下命令
kafka-console-producer.bat --broker-list localhost:9092 --topic test
（2）Consumer
进入目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows输入如下命令
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
然后就可以在Producer中发信息，在Consumer中收信息了
Linux
环境：RHEL7 jdk1.8 zookeeper3.4.10 kafka2.11
操作前打开2181和9092端口
一.安装zookeeper
1.zookeeper下载路径：
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
tar -zxvf zookeeper-3.4.10.tar.gz
cd zookeeper-3.4.10/conf
将zoo_sample.cfg复制一份改为zoo.cfg
cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg
vim zoo.cfg
编辑之后的内容
tickTime=2000
initLimit=10
syncLimit=5
#目录自行创建
dataDir=/tmp/zookeeper
dataLogDir=/var/log/kafka/zk
clientPort=2181
server.1=[你的host]:2888:3888
具体配置自行查阅相关资料
进入bin目录，启动，重启，停止，查看状态命令如下
./zkServer.sh start
./zkServer.sh stop
./zkServer.sh restart
./zkServer.sh status
若启动失败，查看配置文件中的日志文件夹是否创建
二.安装kafka
Kafka下载路径：
wget http://mirrors.hust.edu.cn/apache/kafka/1.1.1/kafka_2.11-1.1.1.tgz
tar -zxvf kafka_2.11-1.1.1.tgz
进入目录，修改配置文件
cd /usr/local/kafka_2.11-1.1.1.tgz
mv * /usr/local/kafka
cd /usr/local/kafka/config
vim server.properties
打开注释
#listeners=PLAINTEXT://:9092
添加：
hostname=192.168.56.14（本机的IP地址）
修改：
log.dirs=/usr/local/kafka/log/kafka（如果服务器上没有此目录请创建）
更改zookeeper的配置，将localhost改为你的zookeeper地址，若zookeeper在本地可以不用修改
保存
启动kafka
进入kafka目录执行如下命令
./bin/kafka-server-start.sh config/server.properties &
保持后台运行
测试
创建一个名叫test的topic
bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
查看所有的topic
bin/kafka-topics.sh --list --zookeeper 127.0.0.1:21811
删除Topic
bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test
如果没有在配置里设置彻底删除Topic，此处则只是将该Topic标志为删除12
发送数据
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
输入内容
> hello kafka
> test
接收数据
bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning
> hello kafka
> test
可以收到 hello kafka 的消息
