kafka开发环境搭建
文章目录
- 1 安装java环境
-
- 1.1 下载linux下的安装包
- 1.2 解压缩安装包
- 1.3 解压后的文件移到/usr/lib目录下
- 1.4 配置java环境变量
- 2 kafka的安装部署
-
- 2.1 下载安装kafka
- 2.2 配置和启动zookeeper
- 2.3 启动和停止kafka
1 安装java环境
1.1 下载linux下的安装包
（1）登录官网下载地址，找到对应压缩包。
（2）点击下载链接弹出如下窗口，勾选协议，继续点击下载链接。
（3）需要登录账户。如果已经有账户则直接登录；没有就需要注册一个账户。登录账户后就可以直接下载了。
1.2 解压缩安装包
tar -zxvf jdk-8u352-linux-x64.tar.gz
解压后的文件夹为jdk1.8.0_351，进入文件夹和查看文件：
cd jdk1.8.0_351
ls
可以看到bin目录：
bin include jmc.txt
legal LICENS README.html
src.zip THIRDPARTYLICENSEREADME.txt COPYRIGHT
javafx-src.zip jre lib
man release THIRDPARTYLICENSEREADME-JAVAFX.txt
1.3 解压后的文件移到/usr/lib目录下
（1）将解压后的文件移到/usr/lib目录下：
sudo mkdir /usr/lib/jdk
（2）将解压的jdk文件移动到新建的/usr/lib/jdk目录下来：
sudo mv jdk1.8.0_351 /usr/lib/jdk/
1.4 配置java环境变量
这里是将环境变量配置在etc/profile，即为所有用户配置JDK环境。
（1）使用命令打开/etc/profile文件：
sudo vim /etc/profile
（2）在末尾添加以下几行：
#set java env
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_351
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
（3）执行命令使修改立即生效：
source /etc/profile
（4）测试安装是否成功：
java -version
出现版本号说明安装成功。
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)
2 kafka的安装部署
2.1 下载安装kafka
（1）下载Kafka。
wget https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz
（2）解压缩Kafka。下载的kafka是已经编译好的程序，只需要解压即可得到执行程序。
tar -zxvf kafka_2.11-2.0.0.tgz
（3）进入kafka目录，以及查看对应的文件和目录。
cd kafka_2.11-2.0.0
ls
bin：为执行程序
config：为配置文件
libs：为库文件
bin config libs LICENSE NOTICE site-docs
2.2 配置和启动zookeeper
Kafka 3.0开始将zookeeper剥离出去了，下载的版本是2.11程序里自带了zookeeper，kafka自带的Zookeeper程序脚本与配置文件名与原生Zookeeper稍有不同。
kafka自带的Zookeeper程序使用bin/zookeeper-server-start.sh，以及bin/zookeeper-server-stop.sh来启动和停止Zookeeper。
# 启动zookeeper：
zookeeper-server-start.sh
# 停止zookeeper：
zookeeper-server-stop.sh
kafka依赖于zookeeper来做master选举以及其他数据的维护。
在config目录下，存在一些配置文件：
zookeeper.properties
server.properties
因此可以通过下面的脚本来启动zookeeper服务，当然，也可以自己独立搭建zookeeper的集群来实现。这里我们直接使用kafka自带的zookeeper。
cd bin/
# 前台运行：
sh zookeeper-server-start.sh ../config/zookeeper.properties
# 后台运行：
sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties
启动zookeeper，默认端口为：2181，可以通过命令lsof -i:2181 查看zookeeper是否启动成功。
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 128387 fly 96u IPv6 2591167 0t0 TCP *:2181 (LISTEN)
2.3 启动和停止kafka
（1）修改server.properties（在config目录）, 增加zookeeper的配置，这里只是本地的配置，如果是另一台机器运行zookeeper，要配置对应的ip地址。
############################# Zookeeper #############################
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000
（2）启动kafka（kafka安装路径的bin目录下执行），默认启动端口9092。
sh kafka-server-start.sh -daemon ../config/server.properties
（3）停止kafka（kafka安装路径的bin目录下执行）。
sh kafka-server-stop.sh -daemon ../config/server.properties