转载请标明出处:
http://blackwing.iteye.com/admin/blogs/1995026
Storm已经在2013年9月放到apache,作为孵化项目,但他的apache主页居然404,真莫名。
Storm的资料如下:
1.安装集群教程
https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster
2.官方的另一个主页
http://storm-project.net/
主要步骤为:
1. 按照zookeeper集群
2. 安装依赖软件
其中主要是安装ZeroMQ和jzmq,官方安装教程:
https://github.com/nathanmarz/storm/wiki/Installing-native-dependencies
需要补充的是安装过程中可能出现的问题:
安装ZeroMQ时:
1. Unable to find a working C++ compiler
系统没有安装g++
sudo apt-get install g++
安装jzmq时(主要参考这篇文章:
http://blog.csdn.net/liuj2511981/article/details/17115261):
1. make[1]: *** 没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”
解决办法,新建一个文件:
touch src/classdist_noinst.stamp
2. 无法访问 org.zeromq.ZMQ | make[1]: *** 没有规则可以创建“all”需要的目标“org/zeromq/ZMQ$Context.class”
解决办法:
javac ./src/org/zeromq/*.java
最后,配置storm。
配置文件在storm/conf/storm.yaml
storm.zookeeper.servers:
- "namenode"
- "datanode"
storm.local.dir: "/usr/local/cluster/storm-data"
nimbus.host: "namenode"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
ui.port: 8090
需要注意的是,由于jetty已经占用默认的8080端口,所以需要更改storm默认8080端口为8090,而ui.port是Number类型,之前填写“8090”则报错。
配置好之后,分别在配置nimbus.host的master机器上启动nimbus和ui:
./bin/storm nimbus >/dev/null 2>/dev/null &
./bin/storm supervisor >/dev/null 2>/dev/null &
./bin/storm ui >/dev/null 2>/dev/null &
在其他slave机器启动supervisor进程:
./bin/storm supervisor >/dev/null 2>/dev/null &
之后,就能在http://namnode:8090看到storm的web界面了,跟hadoop的jobtracker界面一样的用意。