linux(centos)下搭建Storm(0.8.1)集群(很长，但很详细！！！)

linux(centos)下搭建Storm(0.8.1)集群(很长，但很详细！！！)
安装步骤如下：
1.搭建Zookeeper集群；
2.安装Storm依赖库(ZeroMQ、JZMQ);
3.下载并解压Storm发布版;
4.修改storm.yaml配置文件；
5.启动各台机器上的Storm各个后台进程；
注意：在每台机器上都要安装如下软件！！！
一、搭建Zookeeper集群
（安装Zookeeper之前确保已安装JDK，并配置JAVA_HOME，可使用 echo $JAVA_HOME查看）
 1.下载Zookeeper，官方下载链接为http://hadoop.apache.org/zookeeper/releases.html，并解压至
 /opt/zookeeper目录下。
 2.在 /opt/zookeeper/conf 目录下创建配置文件 zoo.cfg,内容如下：
    tickTime=2000
    dataDir=/opt/zookeeper/data/ #zookeeper数据文件存放目录
    clientPort=2181               #zookeeper通信端口
    initLimit=5
    syncLimit=2
    server.1=zoo1:2888:3888            #zoo1是主机1的hostname，zoo2...zoo3...
    server.2=zoo2:2888:3888            #2888 是连接leader的端口, 3888是leader选举的端口
    server.3=zoo3:2888:3888           
3.在各主机的上述 dataDir目录下创建myid文件，文件内容只包含server.id(如：server.1)中对应的id编号；
4.在各主机上启动zookeeper服务，进入 /opt/zookeeper/bin/，运行 zkServer.sh start;
5.测试Zookeeper是否正确安装，命令如下：
    zkCli.sh -server zoo1:2181
    zkCli.sh -server zoo1:2181
    zkCli.sh -server zoo1:2181

二、安装Storm依赖库
 按下来要在Nimbus和Supervisor机器上安装Storm的依赖库，具体步骤：
 注意：不保证使用其他版本能正常运行Storm，Storm测试的依赖库版本如下：
        zeromq-2.1.7 jdk 1.6 python 2.6.6 
 1.安装ZMQ，命令如下
 cd /opt
 wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
 tar -xzf zeromq-2.1.7.tar.gz
 cd zeromq-2.1.7
 ./configure
 make
 make install
 如果我没有预料错的话，你一定不会一帆风顺，可能会遇到如下错误
 1.1 缺少 uuid-devel 库
    configure: error: cannot link with -luuid, install uuid-dev.
    这时你需要运行：
    yum install uuid.x86_64
    yum install libuuid.x86_64
    yum install libuuid-devel.x86_64
1.2 Insufficient space in download directory /var/cache/yum/x86_64/6/base/packages(磁盘空间不足)
    原因：
    你的磁盘已经满了，不信使用 df -h 查看，使用情况是 100%
    解决方法：
    a.手动删除一些日志文件
    b.试一下 yum clean all ,清空 yum 缓存。
Attention:如果还没有安装成功，要注意查看命令打印出的错误信息。
三、安装JZMQ
    如果我没有猜错的话，你可能没有安装 git 依赖包，安装命令如下：
    yum install git.x86_64
    接着运行：
    cd /opt
    git clone https://github.com/nathanmarz/jzmq.git
    cd jzmq
    ./autogen.sh
    ./configure
    make
    make install
    当然，这一步你也不一定能顺利进行，可能会遇到如下依赖包缺少错误：
    a.autogen.sh: error: could not find libtool.  libtool is required to run autogen.sh.
    解决方法：
    yum install libtool.x86_64
四、安装Python2.6.6
    cd  /opt
    wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2

    tar –jxvf Python-2.6.6.tar.bz2
    cd Python-2.6.6
    ./configure
    make
    make install
    测试是否成功： 
    python -V
    打印：Python 2.6.6
五、安装 unzip
    yum install unzip
六、下载并解压Storm 0.8.1
    cd /opt
    mkdir storm
    cd /storm
    wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
    unzip storm-0.8.1.zip
    接下来进行配置了
    cd /opt/storm/conf
    vi storm.yaml
    修改后的内容如下（注意：请将如下代码原封不动的拷过去，然后再修改，不要删除内容中的任何空格，否则启动时会报解析错误）：
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "zoo1"
     - "zoo2"
     - "zoo3"

 storm.zookeeper.port: 2181 #上述配置的zookeeper端口

 storm.local.dir: "/opt/storm/workdir" #请自行创建该目录

 storm.local.mode.zmq: true

 nimbus.host: "zoo1"    #nimbus主机，等同于hadoop中的master

 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
 ui.port: 8888    #storm UI 端口，默认为8080

七、启动Storm集群
在 zoo1 上运行：
    cd /opt/storm/bin
    storm nimbus
    另起一个窗口
    storm supervisor
    再起一个窗口
    storm ui
在 zoo2,zoo3上运行：
    cd /opt/storm/bin
    storm supervisor
此时访问 http://zoo1:8888/ 就可以看到Storm UI 的界面了。
如果不出意外，你还会看到这个错误：
eternal Server Error
org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused
    at org.apache.thrift7.transport.TSocket.open(TSocket.java:183)
    at org.apache.thrift7.transport.TFramedTransport.open(TFramedTransport.java:81)
    at backtype.storm.thrift$nimbus_client_and_conn.invoke(thrift.clj:56)
解决方法：
需要在客户端机器(zoo1,zoo2,zoo3)上配置 ~/.storm/storm.yaml
命令如下：
  cd /opt/storm
  mkdir ~/.storm
  cp ../conf/storm.yaml  ~/.storm/storm.yaml
 再重新启动Storm集群，你就可以看到可爱的Storm UI 界面了。
 当然，如果仍然没有看到，请检查 /opt/storm/logs文件中的详细信息。