storm集群搭建

 

 

1 先安装zookeeper集群, 安装过程见Zookeeper 简介 搭建 

 

2 三台机器，master作为主节点，sliver103,sliver104作为从节点

 

3 安装：

 

// 解压重命名
[root@master local]# tar -zxvf apache-storm-0.9.2-incubating.tar.gz 
[root@master local]# mv apache-storm-0.9.2-incubating storm
// 修改配置文件：
[root@master conf]# vi storm.yaml 

 storm.zookeeper.servers: // storm对应zookeeper集群的机器名
     - "master"
     - "sliver103"
     - "sliver104"

  nimbus.host: "master"  // 指定strom的主机名
  
  storm.local.dir: "/usr/local/storm/tmp"  // 指定strom路径
 
  supervisor.slots.ports:    // 指定storm通讯端口  
      - 6701
      - 6702
      - 6703
      - 6704

	  
配置此文件时注意细节如下：
	  
1) 使用两个空格作为一级缩进是 YAML 的约定，不能使用制表符（Tab）来代替
    eg:  storm.zookeeper.servers:和前面就有两个空格
2) 以“:”为结束符的字符串，代表了一个键名，“:”后面则是键值。“:”和键值之间必须有至少一个空格。
    eg: 	 nimbus.host: "master"   :右侧间隔了一个空格
3) 列表的元素前面的“-”必不可少，并且要跟随至少一个空格
    eg: - 6701 间隔了一个空格

// 拷贝到别的节点：
[root@master local]# scp -r storm  sliver103:/usr/local/
[root@master local]# scp -r storm  sliver104:/usr/local/
// 启动 storm nimbus >/dev/null 2>&1(控制台用2表示输出转到前面垃圾箱里 并转到后台执行用&表示

[root@master bin]# storm nimbus >/dev/null 2>&1 &
[1] 29774
[root@master bin]# jps
3199 nimbus    // 出现主节点进程
9800 JobTracker
3749 Jps
3682 core
13967 QuorumPeerMain
9572 NameNode
9721 SecondaryNameNode



[root@sliver103 bin]# storm supervisor >/dev/null 2>&1 &
[root@sliver103 bin]# jps
17065 DataNode
17174 TaskTracker
16343 QuorumPeerMain
21104 Jps
21018 supervisor    // 出现从节点进程
              

[root@sliver104 bin]# storm supervisor >/dev/null 2>&1 &
[1] 32214
[root@sliver104 bin]# jps
2167 supervisor     // 出现从节点进程
28596 QuorumPeerMain
20799 TaskTracker
2212 Jps



//  启动UI界面
[root@master bin]# storm ui >/dev/null 2>&1 &
[1] 30636

 

启动logviewer 用于查看 supersivor 执行日志：

 访问 http://master:8000/端口查看日志

 

在每个节点都执行此命令：

 storm/bin/storm logviewer >/dev/null 2>&1 &   

 

4 访问UI界面查看storm启动结果： http://master:8080/