Storm集群部署

Storm集群部署

用到的软件
    apache-storm-0.9.3.tar.gz
    dk-6u45-linux-i586.bin
    jzmq-master.zip
    zeromq-2.1.7.tar.gz
    zookeeper-3.4.5.tar.gz

安装需要的依赖库
    在32位CentOS上需要如下rpm包
        autoconf-2.63-5.1.el6.noarch
        automake-1.11.1-4.el6.noarch
        gcc-c++-4.4.7-3.el6.i686
        libcom_err-devel-1.41.12-14.el6.i686
        libstdc++-devel-4.4.7-3.el6.i686
        libtool-2.2.6-15.5.el6.i686
        libuuid-2.17.2-12.9.el6.i686
        libuuid-devel-2.17.2-12.9.el6.i686
        uuid-1.6.1-10.el6.i686
        uuid-devel-1.6.1-10.el6.i686
    
    在64位CentOS上需要如下rpm包
        autoconf-2.63-5.1.el6.noarch
        automake-1.11.1-4.el6.noarch
        e2fsprogs-devel-1.41.12-14.el6.x86_64
        gcc-c++-4.4.7-3.el6.x86_64
        libcom_err-devel-1.41.12-14.el6.x86_64
        libstdc++-devel-4.4.7-3.el6.x86_64
        libtool-2.2.6-15.5.el6.x86_64
        libuuid-2.17.2-12.9.el6.x86_64
        libuuid-devel-2.17.2-12.9.el6.x86_64
        uuid-1.6.1-10.el6.x86_64
        uuid-devel-1.6.1-10.el6.x86_64

HostName            IP                Soft                        Process
storm1              192.168.1.41      Storm,Zookeeper             QuorumPeerMain、Nimbus、Core、Drcp
storm2              192.168.1.42      Storm,Zookeeper             QuorumPeerMain、Supervisor
storm3              192.168.1.43      Storm,Zookeeper             QuorumPeerMain、Supervisor

##修改storm1的主机名
vi /etc/sysconfig /network
HOSTNAME=h1
esc,shift+zz

##修改storm1的主机映射文件
vi /etc/hosts
192.168.1.41 storm1
192.168.1.42 storm2
192.168.1.43 storm3
esc,shift+zz

##关闭storm1的防火墙
service iptables stop
chkconfig iptables off
chkconfig --list | grep iptables

##在storm1上安装32位Jdk-6u45
cd /usr/java/
chmod u+x jdk-6u45-linux-i586.bin
./jdk-6u45-linux-i586.bin
mv jdk1.6.0_45/ java

##在storm1上配置JAVA_HOME
vi /etc/profile
export JAVA_HOME=/usr/java
export PATH=.:$JAVA_HOME/bin:$PATH
esc,shift+zz
source /etc/profile

##验证storm1上的JDK安装是否成功
java -version

##复制storm1虚拟机两个，分别改名为storm2和storm3。将storm2主机IP改为192.168.1.42，将storm3主机IP改为192.168.1.43

##配置SSH免密码登陆(使用rsa非对称加密方式)
[root@storm1 .ssh]# ssh-keygen -t rsa三次回车
[root@storm2 .ssh]# ssh-keygen -t rsa三次回车
[root@storm3 .ssh]# ssh-keygen -t rsa三次回车
[root@storm1 .ssh]# ssh-copy-id root@h1,输入yes,输入密码
[root@storm2 .ssh]# ssh-copy-id root@h1,输入yes,输入密码
[root@storm3 .ssh]# ssh-copy-id root@h1,输入yes,输入密码
[root@storm1 .ssh]# scp authorized_keys root@storm2:/root/.ssh/,输入yes,输入密码
[root@storm1 .ssh]# scp authorized_keys root@storm3:/root/.ssh/,输入yes,输入密码

##验证SSH免密码登陆
各个机器相互登陆到其他机器，首次会提示输入密码
ssh storm1
ssh n ...

##在storm1上配置安装zookeeper-3.4.5.tar.gz到/cloud/
tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud
mv zookeeper-3.4.5.tar.gz zk

##在storm1上配置Zookeeper
mv /cloud/zk/conf/zoo_examp.cfg /cloud/zk/conf/zoo.cfg
vi /cloud/zk/conf/zoo.cfg
dataDir=/cloud/zk/data
server.1=storm1:2888:3888
server.2=storm2:2888:3888
server.3=storm3:2888:3888
esc
shift+zz
在zk下创建data文件夹，该文件夹里有个myid，值为1

##在storm1上配置ZOOKEEPER_HOME
vi /etc/profile
export ZOOKEEPER_HOME=/usr/java
export PATH=.:ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH
esc,shift+zz
source /etc/profile

##将storm1上的zk复制到storm2和storm3上
scp -r /cloud/zk root@storm2:/cloud/    ###/cloud/zk/data/myid的值改为2
scp -r /cloud/zk root@storm3:/cloud/    ###/cloud/zk/data/myid的值改为3

##将storm1上的/etc/profile复制到storm2和storm3上
scp /etc/profile root@storm2:/etc/
scp /etc/profile root@storm3:/etc/

##安装apache-storm-0.9.3.tar.gz到/cloud/
tar -zxvf apache-storm-0.9.3.tar.gz -C /cloud
mv apache-storm-0.9.3 storm
vi /cloud/storm/conf/storm.yaml
/cloud/storm/conf/storm.yaml配置如下
storm.zookeeper.servers:
- "storm1"
- "storm2"
- "storm3"
nimbus.host: "storm1"
drpc.servers:
- "storm1"
esc
shift+zz

##将storm1上配置好的storm复制到storm2和storm3上
scp -r /cloud/storm root@storm2:/cloud/
scp -r /cloud/storm root@storm3:/cloud/

##启动storm集群
在storm1上：
    storm nimbus
    storm ui
    storm drpc
在storm2上：
    storm supervisor
在storm3上：
    storm supervisor

##验证集群启动状态
1：
[root@storm1 soft]# for i in storm1 storm2 storm3; do echo $i; ssh $i `which jps`; done
storm1
4606 Jps
2516 core
2346 QuorumPeerMain
2408 nimbus
4684 drpc
storm2
2336 QuorumPeerMain
2388 supervisor
4535 Jps
storm3
5705 QuorumPeerMain
5798 supervisor
7945 Jps

2：
192.168.1.41:8080