jstorm安装

阅读更多
关于jstorm单机安装可以参看如下
http://hexiaoqiao.sinaapp.com/2014/06/jstorm%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA/
https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
这些是本人在安装过程具体的安装过程以及问题解决
1、安装zeromq
wget http://download.zeromq.org/zeromq-3.2.4.tar.gz
tar zxf zeromq-3.2.4.tar.gz
cd zeromq-3.2.4
./configure (提示: error: Unable to find a working C++ compiler ----》先执行sudo yum install gcc 和$ sudo yum install gcc-c++ 在执行 ./configure 若是仍不能解决 则直接执行 ./configure -without-libsodium)
make
sudo make install
sudo ldconfig
2、安装jzmq
wget https://github.com/zeromq/jzmq/tarball/master -O jzmq.tar.gz
tar zxf jzmq.tar.gz
cd jzmq
./autogen.sh(若是出现 ”jzmq error could not find libtool“  则先执行 sudo yum install libtool 在执行该命令)
./configure
make
sudo make install
3、安装zookeeper
wget http://apache.dataguru.cn/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar zxf zookeeper-3.4.5.tar.gz
cd zookeeper-3.4.5
(在启动zookeeper之前要调整conf文件夹下 zoo-sample.cfg 拷贝一份 重命名为 ”zoo.cfg“ 否则会出现启动失败 pid之类的错误信息)
./bin/zkServer.sh start
./bin/zkServer.sh stop
4.安装jstorm
下载jstorm安装文件:jstorm-2.1.0.tar.bz2
tar -jxvf jstorm-2.1.0.tar.bz2

配置$JSTORM_HOME/conf/storm.yaml
配置项:(如果是单机如下项并不是必须全部修改的)
------------------------------------------如下项是必须的----------------------------------
storm.zookeeper.servers: 表示zookeeper 的地址,
nimbus.host: 表示nimbus的地址
storm.zookeeper.root: 表示jstorm在zookeeper中的根目录,当多个JStorm共享一个ZOOKEEPER时,需要设置该选项,默认即为“/jstorm”
storm.local.dir: 表示jstorm临时数据存放目录,需要保证jstorm程序对该目录有写权限
--------------------------------------如下可以不设置----------------------------------------
java.library.path: zeromq 和java zeromq library的安装目录,默认"/usr/local/lib:/opt/local/lib:/usr/lib"
supervisor.slots.ports: 表示supervisor 提供的端口slot列表,注意不要和其他端口发生冲突,默认是68xx,而storm的是67xx
supervisor.disk.slot: 表示提供数据目录,当一台机器有多块磁盘时,可以提供磁盘读写slot,方便有重IO操作的应用。
topology.enable.classloader: false, 默认关闭classloader,如果应用的jar与jstorm的依赖的jar发生冲突,比如应用使用thrift9,但jstorm使用thrift7时,就需要打开classloader
nimbus.groupfile.path: 如果需要做资源隔离,比如数据仓库使用多少资源,技术部使用多少资源,无线部门使用多少资源时,就需要打开分组功能, 设置一个配置文件的绝对路径,改配置文件如源码中group_file.ini所示
storm.local.dir: jstorm使用的本地临时目录,如果一台机器同时运行storm和jstorm的话, 则不要共用一个目录,必须将二者分离开
安装完成jstorm和zookeeper记得设置下环境变量
同时$JSTORM_HOME/bin文件夹下面的start.sh里面java_home 和 jstorm地址要调整下
注:解决在jdk8环境下不能完成启动问题($JSTORM_HOME/conf/storm.yaml)添加如下内容
nimbus.childopts: " -Xms1g -Xmx1g -Xmn768m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000 "

worker.gc.childopts: " -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=10 -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSMaxAbortablePrecleanTime=5000 "

你可能感兴趣的:(java)