Storm集群搭建

搭建storm集群

1)下载Storm   ---apache-storm-1.1.1.tar.gz。

2解压文件修改storm.yaml添加集群配置信息:

        ①去掉storm.zookeeper.servers:前面的注释,修改为集群中所有部署zookeeper的主机,当然都可以自己手动添加,具体配置如下:

   

    ②增加storm.local.dir选项,指定nimbussupervisor进程用于存储少量的状态数据,比如jar包,配置文件等,待会写好配置文件我们需要手动建立这个目录。

      

    ③下面指定supervisor工作节点,需要配置该节点可以运行的worker数量,每个worker占用一个端口用于接收消息,最多分配5个;默认情况下每个节点可以运行4worker,分别在6700670167026703端口,这里定义3个端口,代表最多运行3worker

     

    ④下面设置集群主机,让集群中所有的节点可以从主机下载拓扑以及配置文件,主机上运行的就是nimbus,而其他节点就是supervisor进程,这里PC02nimbus,而PC[03-07]supervisor,所以配置如下:

     

        ⑤下面配置storm集群的drpc地址,这里就是PC02,实际中可以自己定义:

     

    ⑥最后配置storm进程的分配内存,默认情况下Storm启动worker进程时,JVM的最大内存是768M,由于在使用过程中,Bolt中加载大量数据,768M内存无法满足要求,会导致内存溢出,应该根据实际情况进行修改,这里设置为2G

   

3然后在3台主机分别创建上面设置的数据目录,必须都要创建:mkdir -p /usr/data/storm上面的配置是在主节点上配置的,接下来要把storm目录发送到从节点

4)使用storm脚本启动相应服务并查看服务状态

     主节点bin/storm nimbus &

     从节点  bin/storm supervisor &

5)通过web查看storm集群的状态

     主节点 bin/storm ui & 默认端口8080  

你可能感兴趣的:(storm)