Kafka在Linux服务器下载安装配置等详细图文版本（全）

前言

并不是所有的服务器都要对应安装zookeper和kafka
2.8.0之后已经有可以替换zookeper的版本

一般都有生产者和消费者以及配置集群
生产者和消费者都是由java语言编写，broker是由scara编写

1. 下载

下载对应的版本号：官方下载

以下文章对应的版本号是Scala 2.12 - kafka_2.12-3.0.0.tgz (asc, sha512)
下载完成之后，传输到服务器进行压缩：scp -r kafka_2.12-3.0.0.tgz root@ip地址:/路径

传输到服务器之后即可看到有这个文件

创建一个子目录（创建子目录时候加入-p 参数）用来存放解压缩的文件（tar -zxvf）

root@gaokaoli:~# mkdir -p /opt/module
root@gaokaoli:~# tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

解压之后对应在其目录更改名字，查看文件信息：

root@gaokaoli:/opt/module# ls
kafka_2.12-3.0.0
root@gaokaoli:/opt/module# mv kafka_2.12-3.0.0/ kafka
root@gaokaoli:/opt/module# ls
kafka
root@gaokaoli:/opt/module# cd kafka/

2. 文件配置

最主要的三个文件：

• bin（存放启动、停止、注册等脚本）
  每个模块都有对应的脚本
  生产者:kafka-console-producer.sh
  集群配置:kafka-topics.sh
  消费者:kafka-console-consumer.sh

• config是配置信息（内部有生产者消费者以及服务端的配置）

• libs（依赖的第三方jar包）

看懂配置之后，修改配置参数的信息，在config的目录中通过vim server.properties

修改的配置信息大致有如下：

• kafka的唯一标识broker.id，不能重复，唯一
• log.dirs 存储的数据（临时数据会被清除），所以要设置一个数据
• zookerper.connect的连接参数（默认是连接本地的kafka），增加zookeeper.connect=manongkafka:2181/kafka，在目录中后要加入kafka（不加的话 会将其kafka打散在其zookeeper中，不利后续管理），如果有多个kafka，使用逗号隔开

修改配置文件截图如下：

完整参数大致如下:
一般修改kafka id、log.dirs、zookerper.connect的值（除了这三个都是默认值）

#broker全局唯一id不可重复
broker.id=0

#网络请求线程数量
num.network.threads=3

#处理磁盘IO线程数量
num.io.threads=8

#发送套接字缓冲区大小
socket.send.buffer.bytes=102400

#接收套接字缓冲区大小
socket.receive.buffer.bytes=102400

#请求套接字的缓冲区最大值
socket.request.max.bytes=104857600

#kafka 数据存放位置（自动创建，不需提前创建）
# 多个磁盘路径之间用"，"分隔
log.dirs=/opt/module/kafka/datas

#topic 在当前 broker 上的分区个数
num.partitions=1

#恢复清理 data 数据的线程数量
num.recovery.threads.per.data.dir=1

# 各个 topic 创建的副本数
offsets.topic.replication.factor=1

# segment文件保留的最长时间，超时将被删除
log.retention.hours=168

# 每个segment大小（1G）
log.segment.bytes=1073741824

# 多久检查过期数据（5分钟）
log.retention.check.interval.ms=300000

#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
zookeeper.connect=manongkafka:2181/kafka

配置完成之后，通过xsync进行分发到各个服务器（xsync主要基于rsync的二次封装），如果服务器少可以使用scp进行分发复制或者手动，分发到所有的服务器之后，要更改broker的id
如果是单机版，只有一个，可以不执行xsync分发命令

3. 环境变量

在配置整体的环境变量
通过vim /etc/profile
底部代码输入如下，wq保存退出

export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使配置生效：source /etc/profile
查看环境变量是否生效：echo $KAFKA_HOME

同样如果有多个集群，可通过scp进行分发复制或者手动，xsync分发到所有的服务器
并且每个服务器都要使配置生效：source /etc/profile

4. 启动

整个kafka就已经安装完毕，启动kafka即可
启动kafka之前需要启动zookeeper
执行：bin/zookeeper-server-start.sh config/zookeeper.properties

之后执行命令启动kafka（-daemon覆盖原先的配置）
执行：bin/kafka-server-start.sh -daemon config/server.properties

通过jps可以看到kafka的进程已经启动了

关闭的时候先关闭kafka在关闭zookeeper（因为关闭kafka的时候会跟zookeeper通信，确保zookeeper存在）

关闭kafa：bin/kafka-server-stop.sh
关闭zookeeper：bin/zookeeper-server-stop.sh