Jstorm集群的搭建

1、为什么选择jstorm而不是storm?

阿里Jstorm和storm的对比

简单说下安装步骤:

三台机器:
分别下载jstorm2.1.1
不同版本的jstorm下载地址
三台台机器分别进行解压:
118.144.xxx.1x1
118.144.xxx.1x2
118.144.xxx.1x3

[root@24-app-sit ww]# ls
jstorm-2.1.1.zip
[root@24-app-sit ww]# unzip jstorm-2.1.1.zip

配置环境变量:

vim /etc/profile
设置环境变量:
export JSTORM_HOME=/root/ww/jstorm-2.1.1
export PATH=$PATH:$JSTORM_HOME/bin
设置完成以后进行生效
source /etc/profile
验证生效:
[root@24-app-sit ww]# echo $JSTORM_HOME
/root/ww/jstorm-2.1.1

设置配置文件:

vim $JSTORM_HOME/conf/storm.yaml

#设置对应的zookeeper
 storm.zookeeper.servers:
     - "118.144.xxx.1x1"
     - "118.144.xxx.1x2"
     - "118.144.xxx.1x3"

#zookeeper上的jstorm的根目录
 storm.zookeeper.root: "/jstorm"
#storm发送代码的nimbus主机
 nimbus.host: "118.144.xxx.148"

 storm.local.dir: "%JSTORM_HOME%/data
#supervisor对应的端口,将来启动的worker对应的进程端口号
 supervisor.slots.ports:
    - 6800
    - 6801
    - 6802
    - 6803

大概配置以上这些项目

配置完成以后启动jstorm集群:
注意: 三台机器118.144.xxx.1x1是nimbus,负责分发代码,nimbus主机上也有supervisor的功能
另外两台为supervior : 118.144.xxx.1x2

启动nimbus和supervisor
1、启动nimbus和supervisor
在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误
我的是第一台执行如下两个命令,其他两台只有supervisor,只执行nohup jstorm supervisor &命令

nohup jstorm nimbus &
nohup jstorm supervisor &

查看启动情况: nimbus主机

Jstorm集群的搭建_第1张图片
Paste_Image.png

查看supervior主机:

Jstorm集群的搭建_第2张图片
Paste_Image.png

证明安装成功

安装web ui
web ui就在对应的jstorm的解压包中,web-ui可以部署在任意一台机器上,web-ui可以直接需要在tomcat中部署,这里我选用和nimbus主机的一台机器上:如图:

Paste_Image.png

部署web-ui最关键的一步:
就是如下这不,经常忘记!!!

mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm

下载tomcat并解压

mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
下载tomcat 7.x (以apache-tomcat-7.0.37 为例)
tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.1.1.war ./
mv ROOT ROOT.old
ln -s jstorm-ui-2.1.1 ROOT  #这个地方可能变化,是根据你的JStorm版本来确定,比如当0.9.6.1时,是ln -s jstorm-0.9.6.1 ROOT
                              另外不是 ln -s jstorm-ui-0.9.6.3.war ROOT 这个要小心
cd ../bin
./startup.sh

启动后: 访问 对应网址加上端口即可: 比如 118.144.xxx.1x1:8888
如上8888是我自己的tomcat的端口号设置,如果没有修改过应该是8080的

界面如下:

Jstorm集群的搭建_第3张图片
Paste_Image.png

0:查看日志:

在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误

REF
荣之联大数据解决方案
jstorm官网参考
jstorm2.1.1.安装参考
jstorm安装

你可能感兴趣的:(Jstorm集群的搭建)