Docker-compose部署zookeeper+storm集群【保成，秒回】
docker-hub官网教程
docker storm官网
docker-compose安装
请参考【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案】
zookeeper集群搭建
请参考【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案】
storm集群搭建
storm集群的搭建必须依赖于zookeeper，所以搭建storm前需要将zookeeper集群搭建成功，上面提供的链接详细介绍了使用dokcer-compose搭建zookeeper集群的过程，下面将展示使用docker-compose搭建storm集群，事实上可以使用一个文件配置三个nimbus、supervisor，但是我是先搭建好了一个nimbus与一个supervisor，然后再搭建的剩余的两个nimbus、supervisor。
查看docker network
# 我们需要查看zookeeper所在的docker 网络
docker network ls
# 查看zookeeper集群的ip 在后面的storm.yml文件中会使用到
docker inspect [kafka-net的NETWORK ID]
我们的zookeeper 集群搭建在了 kafka-net下面，所以我们需要将storm并入该网络
创建storm放置所有的配置文件
# 建立根目录
mkdir storm
cd storm
# 创建配置文件
touch storm.yaml
sudo nano storm.yaml
# 插入下面的配置内容
storm.zookeeper.servers:
- "172.18.0.5"
- "172.18.0.7"
- "172.18.0.2"
nimbus.seeds:
- "nimbus1"
- "nimbus2"
- "nimbus3"
storm.log.dir: "/logs"
storm.local.dir: "/data"
storm.cluster.mode: distributed
zookeeper的ip可以使用docker
编写storm1-compose.yml
# 建立第一个storm节点
mkdir storm1
cd storm1
# 创建并编写文件
touch storm1-compose.yml
sudo nano storm1-compose.yml
# 把下面的代码放入yml文件中
version: '3'
services:
nimbus:
image: storm:2.2.0
container_name: nimbus1
command: storm nimbus
restart: always
hostname: nimbus1
ports:
- 6627:6627
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./nimbus/data:/data"
- "./nimbus/logs:/logs"supervisor:
image: storm:2.2.0
container_name: supervisor1
command: storm supervisor
hostname: supervisor1
depends_on:
- nimbus
links:
- nimbus:nimbus
restart: always
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./supervisor/data:/data"
- "./supervisor/logs:/logs"
networks:
default:
external: true
name: kafka-net
运行storm1-compose.yml文件
docker-compose -f storm1-compose.yml up -d
出现下图中的输出表示启动成功
搭建余下两个storm节点
storm2
# 再storm根目录下 创建storm2
mkdir storm2
cd storm2
touch storm-compose2.yml
sudo nano storm-compose2.yml
# 加入代码
version: '3'
services:
nimbus:
image: storm:2.2.0
container_name: nimbus2
command: storm nimbus
restart: always
hostname: nimbus2
ports:
- 6628:6627
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./nimbus/data:/data"
- "./nimbus/logs:/logs"supervisor:
image: storm:2.2.0
container_name: supervisor2
command: storm supervisor
hostname: supervisor2
depends_on:
- nimbus
links:
- nimbus:nimbus
restart: always
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./supervisor/data:/data"
- "./supervisor/logs:/logs"
networks:
default:
external: true
name: kafka-net
storm3
在搭建第三个节点的时候，加入storm-ui，首次搭建会失败，因为此时还不知道三个nibums的ip，我们先执行一次，然后去查看三个nibums的ip，填好后再次运行docker-compose即可
# 再storm根目录下 创建storm3
mkdir storm3
cd storm3
touch storm-compose3.yml
sudo nano storm-compose3.yml
# 加入代码
version: '3'
services:
nimbus:
image: storm:2.2.0
container_name: nimbus3
command: storm nimbus
restart: always
hostname: nimbus3
ports:
- 6629:6627
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./nimbus/data:/data"
- "./nimbus/logs:/logs"supervisor:
image: storm:2.2.0
container_name: supervisor3
command: storm supervisor
hostname: supervisor3
depends_on:
- nimbus
links:
- nimbus:nimbus
restart: always
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./supervisor/data:/data"
- "./supervisor/logs:/logs"storm-ui:
image: storm:2.2.0
container_name: storm-ui
command: storm ui
depends_on:
- nimbus
links:
- nimbus:nimbus
restart: always
ports:
- 8080:8080
volumes:
- "../storm.yaml:/conf/storm.yaml"
- "./ui/data:/data"
- "./ui/logs:/logs"networks:
default:
external: true
name: kafka-net
通过storm-ui查看集群
# 访问下面的网站
http://localhost:8080
出现下面的页面表示storm集群搭建成功
问题与解决
docker-compose文件格式错误
docker-compose文件有着严格格式，最好就是复制粘贴正确的文件，然后进行修改，一般来说，当文件格式不正确的时候，会在控制台报error，并且告诉你文件什么地方有问题
storm节点反复重启
当我们进入storm-ui出现无法连接到nibums和superviser的时候很可能是storm没有和zookeeper连接上，导致storm集群无法正常运行