数据中台搭建之安装JDK，zookeeper，kafka

1. 背景

接上篇博客搭建数据中台之安装mysql，在此基础上安装其他环境

2. 准备

上传包到主节点上

3.解压、安装、修改配置文件

3.1 解压JDK

tar -xvf jdk-8u181-linux-x64.gz

3.2 移动到/usr/local/jdk目录下

mv ···· /usr/local/jdk

3.3 解压zookeeper

tar -zxvf zookeeper-3.4.5.tar.gz

3.4 移动到/usr/local/zk 

mv ···· /usr/local/zk 

3.5 修改conf文件

cd  /usr/local/zk/conf 

cp zoo_sample.cfg  zoo.cfg 

vim zoo.cfg 

3.6 解压kafka

tar -zxvf kafka_2.11-2.1.0.tgz 

3.7 移动到/usr/local/kafka

mv ···· /usr/local/kafka 

3.8 修改kafka配置文件

cd /usr/local/kafka/conf

vim server.properties 

3.9 修改环境变量

vim /etc/profile 

3.10 加载环境变量

source  /etc/profile

4. 启动

4.1 JDK

查看java环境是否安装成功

java -version

4.2 Zookeeper

启动zookeeper

zkServer.sh start

查看状态

zkServer.sh status

4.3 Kafka

cd /usr/local/kafka/bin

4.3.1 启动

 ./kafka-server-start.sh ../config/server.properties 

如果看到INFO 有start succeed 就是启动成功

4.3.2 创建topic

因为只有一个节点测试，所以--replication-factor 1 --partitions 1  副本和分区都选择了1 个

./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
输入上面的命令之后会出现
created topic "test"

即代表创建topic成功

4.3.3 创建生产者

在创建生产者的时候应该先看一下端口号

ss -nltp

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

4.3.4 创建消费者

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test

4.3.5 测试

在刚才创建的生产者页面输入一些数据，然后看消费者是否能接收到

生产者：

消费者：

至此代表Kafka成功运行