利用 docker 掌握 kafka 总集篇

第一节 Kafka 集群

承前

如果你是开发, 对搭建kafka集群没什么兴趣, 可以跳过这一章, 直接看明天的内容.

如果你觉得多了解一点没有什么坏处的话, 请继续看下去.

提醒一下, 本章图多

---

Kafka 集群搭建

概述

kafka集群的搭建还是比较繁琐的, 虽然只是下载文件,修改配置,但数据比较多.

基本环境需要3台zk服务器 和3台 kafka服务器.

操作流程

看图

看上去就比较长, 所以我不用这种方法, 使用docker 来简化一点流程.

---

Kafka 集群快速搭建

安装 Docker

算复习

uname -a
yum -y install docker
service docker start
# 或
curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh

镜像加速

vi /etc/docker/daemon.json
    {
   
      "registry-mirrors": ["https://uzoia35z.mirror.aliyuncs.com"]
    }

zookeeper集群

docker-compose 已装好

新建docker网络

docker network create --driver bridge --subnet 172.29.0.0/25 \
  --gateway 172.29.0.1  elk_zoo
docker network ls

yml 脚本

配置太长,这里先放个结构, 源文件稍后会放在博客上.

列出的项目基本都要配置, 重点注意:

• ports: # 端口
• volumes: # 挂载卷
• environment: 环境变量
• networks: 有两部分, ip 和共有网络

请参考配置文件印证.

docker-compose up -d

验证

ZooInspector

cd zookeeper/src/contrib/zooinspector/
# 打开失败,需要验证

Kafka集群

镜像

docker pull wurstmeister/kafka
docker pull sheepkiller/kafka-manager

yml 脚本

配置太长,这里先放个结构, 源文件稍后会放在博客上.

​ 列出的项目基本都要配置, 重点注意:

• ports: # 端口
• volumes: # 挂载卷
• environment: 环境变量
• external_links 外连
• networks: 有两部分, ip 和共有网络

请参考配置文件印证.

docker-compose up -d

验证