快速使用腾讯云服务器安装单机版kafka，全过程跑通
1.环境介绍
| 组件 | 版本 |
|---|---|
| linux | CentOS 7.5 |
| java | 1.8 |
| scala | 2.11 |
| zookeeper | zookeeper-3.4.13 |
| kafka | kafka_2.11-2.2.2 |
2.安装JDK
2.1 下载JDK
使用wget命令下载，如果没有wget可以先使用yum install wget 或 apt install wget 下载
yum install wget
或
apt install wget
下载好了wget后执行下方代码
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
下载完成后使用tar -vxf jdk-8u131-linux-x64.tar.gz 命令解压，解压完成后的jdk可以直接使用，可以使用mv命令改变路径，也可以直接配置环境变量
tar -vxf jdk-8u131-linux-x64.tar.gz
2.2 配置环境变量
- 首先记下jdk的目录，本文为 /usr/java/jdk1.8.0_131
- 使用vi命令修改环境变量 vi /etc/profile
vi /etc/profile
- 在文件最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
- 然后保存
- 使用source /etc/profile 使刚刚配置的环境变量立即生效
source /etc/profile
- 敲下 java -version 检验是否安装成功
3.安装zookeeper-3.4.13
3.1 下载地址
http://archive.apache.org/dist/zookeeper/
3.2 解压安装
- 使用命令tar -xzvf zookeeper-3.4.14.tar.gz解压下载好的解压包
tar -xzvf zookeeper-3.4.14.tar.gz
- 使用mkdir命令在根目录zookeeper下创建data文件夹存放快照
mkdir data
-
进入conf目录将zoo_sample.cfg copy一份zoo.cfg
-
使用vi zoo.cfg修改zoo.cfg文件,将路径改成刚刚创建data的路劲dataDir=/zookeeper/zookeeper-3.4.14/data
-
进入的zookeeper的bin目录下 cd bin/
1、启动命令 ./zkServer.sh start
2、关闭命令 ./zkServer.sh stop
3、查看状态 ./zkServer.sh status
- linux服务上的防火墙状态
备注：防火墙一定要关闭不然会一直出现Will not attempt to authenticate using SASL (unknown error)这个异常
1、查看防火墙状态命令：systemctl status firewalld
systemctl status firewalld
关闭防火墙命令： systemctl stop firewalld
永久关闭防火墙命令：
systemctl disable firewalld
+
chkconfig iptables off
4.安装scala
- 下载地址
https://www.scala-lang.org/download/2.11.11.html
- 解压
tar -xzvf scala-2.12.12.tgz
- 配置环境变量，，添加以下代码
vim /etc/profile
#scala
export SCALA_HOME=/opt/soft/scala211
export PATH=$PATH:$SCALA_HOME/bin
- 生效
source /etc/profile
- 校验scala安装是否成功
scala
6.安装kafka
6.1 下载地址
https://kafka.apache.org/downloads
安装版本kafka_2.11-2.2.2
6.2 安装
解压
tar -xzvf kafka_2.12-2.4.0.tgz
- 修改kafka的配置文件
进入kafka根目录下的config文件夹下，打开server.properties,修改如下配置项
vim server.properties
broker.id=0 #每个节点不能一样
listeners=PLAINTEXT://0.0.0.0:9092 #开放访问
advertised.listeners=PLAINTEXT://192.168.1.11:9092 # 访问这个主节点需要使用的地址 修改成自己的地址
log.dirs=/opt/kafka_2.11-2.2.2/config/logdata
#日志文件目录，请提前创建
zookeeper.connect=192.168.1.11:2181 #修改成自己的zookeeper集群地址，单机版可以使用localhost
- 启动kafka
/opt/kafka_2.11-2.2.2/bin/kafka-server-start.sh -daemon /opt/kafka_2.11-2.2.2/config/server.properties
此命令告诉kaka启动时使用config/server.properties配置项 -daemon 后台进程启动
- 通过如下命令查看kafka进程是否启动
jps
-logs目录下，查看server.log日志
cat server.log
- 创建topic
./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test1
- 启动生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test1
- 启动消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test1
- 完成
生产消费都可以，安装完成。
生产发出hello
消费者到接受hello
