[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x

1、 前言

目前Kafka 的稳定大版本是 1.0.x，加上主流的CDH （CDH 5.13.0以上）和 HDP（hdp-3.x.x） 厂商的稳定版本也是使用 Kafka 1.0.x版本，所以，个人选择使用 Kafka-1.0.x 版本做安装测试。

2、环境准备

	版本号	稳定性	发行日期	下载链接
Jdk	1.8.0_171	稳定	2018-04-17	跳转页面
Zookeeper	3.4.5	稳定	2012-11-18	跳转页面
Kafka	1.0.1	稳定	2018-03-02	跳转页面

3、安装 Zookeeper

3.1 下载 zookeeper

cd  /Volumes/d
sudo wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

3.2 解压安装

• 解压：sudo tar -zxvf zookeeper-3.4.5.tar.gz
• 修改 zookeeper 目录：sudo mv zookeeper-3.4.5 zookeeper

• 创建zoo.cfg文件：

cd /Volumes/d/zookeeper/conf
sudo touch   zoo.cfg

• 在 zoo.cfg 文件中添加以下内容

tickTime=2000
dataDir=/Volumes/d/zookeeper/data
dataLogDir=/Volumes/d/zookeeper/logs
clientPort=2181

• 添加环境变量：sudo vim /etc/profile

# zookeeper
export PATH=$PATH:/Volumes/d/zookeeper/bin

生效： source /etc/profile

• 启动 zookeeper：sudo zkServer.sh start
  
• 链接zookeeper: sudo zkCli.sh -server 127.0.0.1:2181
  

4、安装Kafka

• 4.1下载：sudu wget https://archive.apache.org/dist/kafka/1.0.1/kafka_2.11-1.0.1.tgz
• 4.2 解压安装：

sudo tar -zxvf  kafka_2.11-1.0.1.tgz
sudo mv kafka_2.11-1.0.1 kafka

• 添加环境变量：sudo vim /etc/profile

# kafka
export PATH=$PATH:/Volumes/d/kafka/bin

生效： source /etc/profile

• 启动 kafka

sudo kafka-server-start.sh  -daemon  /Volumes/d/kafka/config/server.properties

5、测试 Kafka

• 5.1 创建 kafka topic 并查看 topic

# 创建
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 查看
kafka-topics.sh --list --zookeeper localhost:2181

• 5.2 生产消息

kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 输入以下消息并回车即可
This is a message
This is another message

• 5.3 订阅消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

6、参考

6.1、Apache 软件下载
https://archive.apache.org/dist/kafka/

6.2、Apache 软件版本查询
https://issues.apache.org/jira/secure/BrowseProjects.jspa?selectedCategory=all&selectedProjectType=all

6.3 Apache kafka 安装指南
https://kafka.apache.org/quickstart