Storm 集群的安装与配置

Storm 集群的安装与配置

还是我们的三台虚拟机：master、slave1、slave2
安装storm需要先安装Zookeeper，Zookeeper集群的安装可以查看我的另外一篇博客

0 前提：需要安装Java

0.1 从官网下载 jdk

http://www.oracle.com/technetwork/java/javase/downloads/index.html
我下载的是 jdk-7u79-linux-x64.tar.gz

0.2 解压

tar -zxvf jdk-7u79-linux-x64.tar.gz -C /usr/

0.3 设置环境变量

在/etc/profile最后添加

# set java environment
export JAVA_HOME=/usr/jdk1.7.0_79
export JRE_HOME=/usr/jdk1.7.0_79/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

生效 source /etc/profile

1 在每台机器上

1.1 下载与解压

到官网下载 Storm
http://storm.apache.org/downloads.html
我下的是 apache-storm-0.10.0.tar.gz
解压到/usr下

tar -zxvf /mnt/hgfs/share/apache-storm-0.10.0.tar.gz -C /usr/
mv /usr/apache-storm-0.10.0 /usr/storm-0.10.0

1.2 修改环境变量

在/etc/profile最后添加

# set storm environment
export STORM_HOME=/usr/storm-0.10.0
export PATH=$PATH:$STORM_HOME/bin

生效 source /etc/profile

1.3 建立数据存放的目录

进入到storm目录

mkdir data  #存放数据的路径

1.4 修改配置文件(conf/storm.yaml)

# 所用的Zookeeper
storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"

# nimbus的机器
nimbus.host: "master"

# 一些临时数据存放路径
storm.local.dir: "/usr/storm-0.10.0/data"
# 一台机器运行几个worker（每个worker需要一个端口）
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

1.5 启动storm

先启动Zookeeper
在每台机器上

zkServer.sh start

master上启动nimbus

storm nimbus

slave1上启动supervisor

storm supervisor

slave2上启动supervisor

storm supervisor

在任意一台机器上启动UI（例如nimbus）

storm ui

这样就可以在 http://master:8080 上看见storm集群的运行情况

查看日志

日志文件位于storm目录下的logs下

至此，storm集群搭建成功^_^