Kafka 单节点部署 阿里云-ECS

环境介绍

Linux: Centos 7.3   ~  阿里云 ECS 服务器

Zookeeper:  cdh-3.4.5

Kafka: 2.12-2.1.0

注意事项

一、用户权限： root 用户

二、部署路径 ：  /opt

三、环境变量配置文件： /etc/profile

四、Kafka 需要依赖 Zookeeper , Kafka 自身带有 ZK, 但我们这里使用外部搭建的 ZK。

五、阿里云服务器 公网IP、内网IP 都需要用到。因为需要实现公网访问，并且也可以内网使用。

Zookeeper

################################# 下载 安装 配置环境变量 #################################
## 下载 zookeeper
wget https://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.3.6.tar.gz

## 解压 
tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar -C /opt

## 重命名
mv /opt/zookeeper-3.4.5-cdh5.3.6 /opt/zookeeper

## 环境变量配置
echo "## Zookeeper 环境变量" >> /etc/profile
echo "export ZK_HOME=/opt/zookeeper" >> /etc/profile
echo "export PATH=$"PATH":$"ZK_HOME"/bin" >> /etc/profile

## 立即生效
source /etc/profile

################################# Zookeeper 配置 ####################################

cd $ZK_HOME

## 创建 dataDir 临时文件存储路径
mkdir data

## 创建 dataLogDir 事务日志存储路径
mkdir logs

## 配置文件路径：/opt/zookeeper/conf/zoo_sample.cfg ; 这是 ZK 默认提供的一份模板,我们 copy 并命名 zoo.cfg 
cd $ZK_HOME/conf
cp zoo_sample.cfg   zoo.cfg   

## 编辑 配置文件
vim zoo.cfg

------------------------- zoo.cfg 增改配置项 --------------------------

dataDir=/opt/zookeeper/data

dataLogDir=/opt/zookeeper/logs

clientPort=2181

# server.x中的x是一个数字，与myid文件中的id 一致
server.1=127.0.0.1:2888:3888
------------------------- zoo.cfg 增改配置项 --------------------------

## 配置 myid , 配置路径: dateDir 
echo 1 > $ZK_HOME/data/myid


## 启动 ZK
zkServer.sh start

$ JMX enabled by default
$ Using config: /opt/zookeeper/bin/../conf/zoo.cfg
$ Starting zookeeper ... STARTED

## 基本命令
zkServer.sh start stop status

Kafka

## 下载
wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.12-2.2.0.tgz

tar -zxvf kafka_2.12-2.2.0.tgz -C /opt
mv /opt/kafka_2.12-2.2.0.tgz /opt/kafka
mkdir -p /opt/kafka/logs          # 日志文件存储路径

## Kafka 配置文件 
vim /opt/kafka/server.properties

-------------------------- kafka 配置文件增改项------------------------------
broker.id=0
port=9092

# 阿里云 内网 IP 地址
host.name=172.19.*.*

# 阿里云 公网 IP 地址
advertised.host.name=47.101.*.*

# 配置日志路径
log.dirs=/opt/kafka/logs

# ZK 地址
zookeeper.connect=localhost:2181

# 真实删除 topic  
delete.topic.enable=true

-------------------------- kafka 配置文件增改项------------------------------


## kafka 启动方式    
# 前台
./kafka-server-start.sh ../config/server.properties

# 后台
./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

SpringBoot 整合 Kafka

博客地址：https://blog.csdn.net/Davis_Dxs/article/details/88866569

源码地址：https://github.com/DevilMafia/kafka-samples