Storm集群的搭建（1）

Storm集群的搭建

1.Storm集群搭建步骤：

      1）搭建zookeeper集群（已完成）

      2）安装storm依赖的软件

            ZeroMQ：消息处理队列库，可以在多线程环境下，在多个服务器（主机）、内核之间弹性伸缩

            JZMQ：一个底层的消息队列

            JAVA 8

            Python

            unzip

      3）安装配置storm

2.zeroMQ安装

      1）zeromq下载地址：http://zeromq.org/intro:get-the-software

      2）将下载的文件在linux服务器上解压

      3）进入解压的文件夹后执行 ./configure命令

      注意：centOS安装zeroMQ，需要以下的组件

                 yum install gcc

                 yum install gcc-c++

                 yum install make

                 yum install uuid-devel

                 yum install libuuid-devel

                 yum install libtool

      不然会有如下等报错：

      

      4）执行make命令（默认使用的是root账户），或者使用sudo make install安装

      5）执行make install

3.JZMQ安装

      1）安装git依赖：yum install git

      2）下载jzmq：git clone https://github.com/nathanmarz/jzmq.git

      3）cd jzmq

      4）执行./autogen.sh

      5）执行./configure

      6）执行：make

      7）执行make install

      安装过程中可能会出现的问题：

      1.configure: error: cannot find zmq.h

      解决办法：

       export LDFLAGS=-L/usr/local/zeromq/lib/

      export CPPFLAGS=-I/usr/local/zeromq/include/ 

      2.

      make[1]: 进入目录“/usr/local/jzmq/src”
      make[1]: *** 没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”。 停止。
      make[1]: 离开目录“/usr/local/jzmq/src”
      make: *** [all-recursive] 错误 1

      解决办法：touch src/classdist_noinst.stamp 

      3、没有规则可以创建“all”需要的目标“org/zeromq/ZMQ$Context.class

      解决办法：touch src/org/zeromq/ZMQ$Context.class

      4.错误: 找不到 'org.zeromq.ZMQ' 的类文件。
      make[1]: *** [org_zeromq_ZMQ.h] 错误 1
      make[1]: 离开目录“/usr/local/jzmq/src”
      make: *** [all-recursive] 错误 1
      [root@master jzmq]# cd src/org/zeromq/

      进入src目录执行命令

      javac -d . org/zeromq/*.java

4.Storm安装

      1）storm下载地址：http://storm.apache.org/downloads.html

      2）将下载的文件在linux服务器上解压

      3）进入解压的文件夹/conf

      4）修改storm.yaml文件

      修改内容：

      这里需要注意空格的问题，否则在启动的时候会报错

      

      并添加如下内容：

      

      这个是对集群端口的设置；

      添加storm.ui: 8081        //可视化界面的端口号

      添加storm.local.dir:"/opt/storm/apache-storm-1.2.2/data"到storm.yaml文件中，并在根目录下创建data文件夹

      配置文件简单的概述：

      storm.zookeeper.servers:是一个为Storm集群配置的Zookeeper集群的主机列表

      storm.local.dir：Nimbus和Supervisor守护程序需要一个本地磁盘目录存储少量的状态，每台机器都创建这些目录，可写权限

      supervisor.slots.ports：每一台worker机器，都需要一个端口号来接收消息，这个参数可以定义那些端口号是打开的并且可以使用

      注意：这里的java 8 python安装请自行解决！

5.测试启动

     1）启动zookeeper集群

     2）进入到storm安装目录下面/bin

     3）在bin目录下执行 ./storm numbis命令，出现如下界面表示配置成功

         

      4）使用scp命令给其他服务器上上传配置好的文件

      5）关闭之前开启的storm进程

      6）在将所有的启动进程交给nohup进行管理

        启动nimbus：

        

        启动ui

        

        查看启动日志（这里我们可以看到启动的端口）

        

        因为我电脑配置的问题，只有两台虚拟机，所以这里我再在这台虚拟机上启动一个supervisor

        

        然后再在另一台服务器上启动一个supervisor

      7）在浏览器上输入http://192.168.58.129:8081查看集群搭建情况

        

     如果出现如下页面，那么恭喜你集群搭建成功了！！！