Centos 7 环境 Storm 2.0.0 完全分布式集群的搭建过程

系列博客地址

Centos 7 环境 hadoop 3.2.0 完全分布式集群搭建

Centos 7 环境 hive3.1.1 搭建

Centos 7 环境 Spark 2.4.3 完全分布式集群的搭建过程

Centos 7 环境  HBase 2.1.5 完全分布式集群的搭建过程

Centos 7 环境 Storm 2.0.0 完全分布式集群的搭建过程

 

一 搭建Zookeeper 集群

请参考 Centos 7 环境 HBase 2.1.5 完全分布式集群的搭建过程 中的zookeeper 集群搭建过程

二  下载和配置Storm

2.1  下载并解压 strom

[root@centos48 local]# wget http://mirror.bit.edu.cn/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz
[root@centos48 local]# tar -zxvf apache-storm-2.0.0.tar.gz 

 2.2 修改配置

[root@centos48 conf]# vi storm.yaml

# 指定storm使用的zookeeper集群
storm.zookeeper.servers:
     - "centos48"
     - "centos49"
     - "centos50"
# 指定storm集群中的nimbus节点所在的服务器
nimbus.seeds: ["centos48", "centos49", "centos50"]
# 指定storm文件存放目录
storm.local.dir: "/var/storm"
# 指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
# 指定web ui 的端口为9085
ui.port: 9085

  2.3 增加启动和停止脚本

/usr/local/apache-storm-2.0.0/bin/start-storm-all.sh, stop-strom-all.sh

#!/bin/bash
#nimbus节点
nimbusServers='centos48 centos49'

#supervisor节点
supervisorServers='centos48 centos49 centos50'

#启动所有的nimbus
for nim in $nimbusServers
do
    ssh -T $nim </dev/null 2>&1 &
EOF
echo 从节点 $nim 启动nimbus...[ done ]
sleep 1
done

#启动所有的ui
for u in $nimbusServers
do
    ssh -T $u </dev/null 2>&1 &
EOF
echo 从节点 $u 启动ui...[ done ]
sleep 1
done

#启动所有的supervisor
for visor in $supervisorServers
do
    ssh -T $visor </dev/null 2>&1 &
EOF
echo 从节点 $visor 启动supervisor...[ done ]
sleep 1
done

~                                                                               

!/bin/bash

#nimbus节点
nimbusServers='centos48 centos49'

#supervisor节点
supervisorServers='centos48 centos49 centos50'

#停止所有的nimbus和ui
for nim in $nimbusServers
do
    echo 从节点 $nim 停止nimbus和ui...[ done ]
    ssh $nim "kill -9 `ssh $nim ps -ef | grep nimbus | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
    ssh $nim "kill -9 `ssh $nim ps -ef | grep core | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done

#停止所有的supervisor
for visor in $supervisorServers
do
    echo 从节点 $visor 停止supervisor...[ done ]
    ssh $visor "kill -9 `ssh $visor ps -ef | grep supervisor | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done

~                                                                                                     

2.4 修改环境变量

vi /etc/profile

export STORM_HOME=/usr/local/apache-storm-2.0.0
export PATH=$STORM_HOME/bin:$PATH

2.5 分发至其它节点

scp  -r /usr/local/apache-storm-2.0.0 root@centos49:/usr/local
scp  -r /usr/local/apache-storm-2.0.0 root@centos50:/usr/local

2.6 启动storm

[root@centos48 bin]# start-storm-all.sh 
从节点 centos48 启动nimbus...[ done ]
从节点 centos49 启动nimbus...[ done ]
从节点 centos48 启动ui...[ done ]
从节点 centos49 启动ui...[ done ]
从节点 centos48 启动supervisor...[ done ]
从节点 centos49 启动supervisor...[ done ]
从节点 centos50 启动supervisor...[ done ]

2.7 web 访问

http://10.0.0.48:9085