storm集群部署

【准备】
1:虚拟机奇数台(3)
2:java环境(java1.7)
3:python环境(python2.7)
3:zookeeper集群环境(投票机制,所以需要奇数台机器)

【python安装】

#准备tar包
python2.7.X.tgz包

#解压
    tar -xzvf Python2.7.x.tgz

#复制至其他两个节点
    scp -r /Python2.7.x root@hadoop2005:/usr/local
    scp -r /Python2.7.x root@hadoop2006:/usr/local


#进入python目录
    cd Python2.7

#编译
    ./configure --prefix=/usr/local

#make
    make && make install

#进入/usr/local/bin目录
    cd /usr/local/bin    (你会看到编译的python执行文件)

#备份2.6版本
    mv /usr/bin/python /usr/bin/python2.6.6

#建立2.7软连接
    ln -s /usr/local/bin/python2.7 /usr/bin/python

#测试版本
    python --version

【zookeeper安装】
请查看zookeeper安装:http://www.jianshu.com/p/6b53a6a8564a
【storm安装】

#准备storm-0.9.2.tar.gz
    http://apache.mirrors.pair.com/storm/apache-storm-0.9.2-incubating/

#解压
    tar -xzvf storm-0.9.2.tar.gz

#配置
    cd /storm-0.9.2/conf
    vim storm.yaml

#配置项【注意,在配置是,首行留空格符,冒号后面留空格】
    storm.zookeeper.servers:
         - "hadoop2004"
         - "hadoop2005"
         - "hadoop2006"
    storm.zookeeper.port: 2181
    storm.local.dir: "/usr/local/DataStorm"
    nimbus.host: "hadoop2004"
    ui.port: 18080
    supervisor.slots.ports:
           - 6700
           - 6701
           - 6702
           - 6703

#配置STROM_HOME
    vim /etc/profile

    export STORM_HOME=/usr/local/storm-0.92
    export PATH=$STORM_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

#测试
    storm version

#启动ui
    storm ui & 或者 storm ui > /dev/null 2>&1 &

#启动nimbus(在nimbus节点机器上)
    storm nimbus & 或者storm nimbus > /dev/null 2>&1 &

#启动supervisor(在supervisor节点机器上)
    storm supervisor &  或者  storm supervisor > /dev/null 2>&1 &

#查看任务节点
    storm list &

#查看线程 
    jps

这里注意:不是每天机器都启动所有进程,

主机器:启动nimbus  (nohup storm nimbus &)
从机器:启动supervisor (nohup storm supervisor &)
主机器:启动ui (nohup storm ui &)
主机器:启动logviewer (nohup storm logviewer &)

storm配置:【注意,各个配置首行留空格】

storm集群部署_第1张图片
storm配置.png

storm_home配置

storm集群部署_第2张图片
2017-01-18_145117.png

jps线程查看

storm集群部署_第3张图片
2017-01-18_150059.png

访问hadoop2004:18080

storm集群部署_第4张图片
2017-01-18_150211.png

你可能感兴趣的:(storm集群部署)