storm文档（12）----自己搭建storm集群

转载请注明出处：http://blog.csdn.net/beitiandijun/article/details/41802543

ubuntu下  storm  安装步骤

安装storm之前首先需要安装一些依赖库：

zookeeper、JDK 6、python2.6.6、jzmq、zeromq

这些库所需要的依赖库不再一一笔述。

 

以下为具体安装过程：

 

一、安装JDK

       zookeeper要求安装JDK 6或更高版本( 目前最新稳定版本为JDK8), 但是由于storm要求安装JDK 6, 因此选择安装JDK 6。

         JDK下载地址：http://www.oracle.com/technetwork/java/javase/archive-139210.html

         JDK安装过程：http://www.oracle.com/technetwork/java/javase/index-137561.html#linux

1、下载JDK6

（1）打开 JDK下载地址：

        

        

（2）选择Java  SE 6并下载

 

2、安装JDK

（1）修改权限：

                   chmod+x 6u <version>-linux-x64.bin

 

（2） 安装：Sun公司出版的《Java核心编程》建议安装在/usr下，而不是/usr/local下，具体原因不明。

                   sudo  ./ 6u <version>-linux-x64.bin安装目录

 

（3）  配置环境变量

                   export  JAVA_HOME=安装目录

                   export  JRE_HOME=$JAVA_HOME/jre

                   export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

                   export  PATH=$JAVA_HOME/bin:$PATH

 

注意：解决JDK版本冲突的方式就是修改这些环境变量

 

         三种方式：

         方式一： 只在当前shell中可用：

                   则在当前shell命令行中上述语句即可

         方式二： 只在当前用户中可用：

                   则在~/.bashrc末尾添加上述语句即可

                   当前shell中启用：

                   source   ~/.bashrc

         方式三： 所有用户均可用：

                   则在/etc/profile末尾添加上述语句即可

                   当前shell中启用：

                   sudo source  /ect/profile

                   本例中采用方式三。

 

3、测试java是否安装成功 

                   java  -version

        

 

 

 

二、安装zookeeper

         参考zookeeper官方wiki: http://zookeeper.apache.org/doc/r3.3.3/zookeeperAdmin.html

 

1、zookeeper的系统要求:

         支持的平台包括：GNU/LINUX、 Sun Solaris、FreeBSD、Win32、MaxOSX

         软件要求：需要JDK 6或更高版本； 对于Zookeeper集群，官方推荐最小节点数是3个，并且运行在不同的机器上； 为避免数据swap导致性能下降， 在内存允许的情况下，尽可能的增大java heap size，例如 4GB 内存时java heap size可以设置为3GB

2、具体安装过程

（1）

        

（2）安装zookeeper的依赖工具包：

                   gcc、cppunit、python-setuptools

         i.  gcc系统一般会自带, 不需要安装

         ii.  安装python-setuptools:

                   sudoapt-get install  python-setuptools

         iii.  安装cppunit

                   sudoapt-get install  cppunit

 

(2) 配置zookeeperconfiguration file:

         由于本集群中有10个节点，因此配置

 

 

 

三、安装python

         根据storm要求，需要安装python2.6.6，python下载地址：http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2

 

1、下载python 2.6.6

wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2

 

 

 

2、编译安装python 2.6.6

         （1）解压：tar -jxvfPython-2.6.6.tar.bz2

         （2）编译安装：

                   cd  Python

                   sudo./configure --prefix=/usr/local/lib/python2.6.6

                   sudomake

 

在安装过程中有可能会出现几处错误

错误一：

 

根据上述错误，搜索得出是因为Debian/Ubuntu的Multiarch机制造成：即使不同架构下编译的二进制文件可以在同一个系统下运行。

参考文档：

http://jisedai.vayn.de/2011/06/28/python-3-installation-note.html

http://bugs.python.org/issue9762

http://bugs.python.org/issue11715

出错原因：不同架构下的库的搜索路径可能不一致，因此setup.py可能找不到编译时所需要的库文件。

 

解决办法：修改setup.py，将multiarch的路径加进setup.py的搜索路径。

具体补丁：https://hg.python.org/cpython/rev/bd0f73a9538e

 

 

错误二：

解决错误一之后，进行make，依然报错：

上述错误说明缺少依赖库：按照提示说明上述依赖库可以修改setup.py中的detect_modules()函数取消依赖，但由于无法预料不安装哪一个会出现何种结果，因此决定都安装，共18个依赖库。

 

依次安装：

1）安装 zlib（压缩库）

         查找zlib库

         安装：sudo  apt-get install  zlib1g-dev

         查看是否安装成功，zlib没有出现说明安装成功，继续安装

 

2）安装bz2

         查找bz2库（压缩库）

        

         安装：sudoapt-get install libbz2-dev

 

3）安装gdbm（dbm是类unix系统的数据库，使用Hash保存非结构化数据，不支持SQL，gdbm是GNU版本的dbm）

         查找gdbm并安装：

         sudoapt-get install libgdbm-dev

 

注：安装gdbm之后，不需要再安装dbm

 

4）安装readline（GNU，用于编辑命令行，当前使用者：GDB，VI，Emacs等）

         查找并安装readline：

         sudoapt-get install  libreadline-dev

 

5）安装_sqlite3(SQL 数据库引擎的C库)

       安装： libsqlite3-dev

 

 

6）安装 _curses 和_curses_panel

         安装：  libncurses5-dev

3、安装失败的依赖库说明

以下为没有成功安装的依赖库：（并不是意味着安装失败，只是python2.6.6无法调用以下库）

 

先将安装步骤列出如下：

1）安装_bsddb（pythoninterface for berkeley DB）

 

方法一：不成功

         搜索apt-cachesearch  bsddb

但是安装python-bsddb3和python-bsddb3-dbg之后，执行python的make发现依然提示没有_bsddb，于是到python官网搜索有关bsddb相关信息：

https://pypi.python.org/pypi?%3Aaction=search&term=bsddb&submit=search

 

方法二：不成功

依然不行，网上搜索发现有人先安装berkeley的db： libdb-dev

 

方法三：

网上有说bsddb是一个很古老的berkeley DB模块，可以不必安装。

通过修改setup.py

disabled_module_list= ["bsddb185"]

依然失败

 

2）安装_hashlib（hash表）和 _ssl（信息安全、数据加密）

         搜索以及安装：sudoapt-get install libssl-dev

        

安装好libssl-dev后，编译python依然没有成功识别_ssl模块

 

安装openssl：sudo apt-get install openssl

结果依然无法成功调用 _ssl模块，以下所示：

 

 3）dl、imageop、linuxaudiodev、ossaudiodev

       dl 是 32 位系统上的过时模块（被 ctypes 替代）；

       imageop 也是 32 位系统上的过时模块，被 PIL 代替；

       linuxaudiodev是音频模块；

       ossaudiodev是音频模块；

       _tkinter是界面模块。

      

       这几个模块不用安装。

 

 

4、解决python版本冲突问题

         原本机器上本来就有python2.7，现在storm需要使用python2.6，如何解决版本冲突问题是需要解决的。

         搜索网上，提出两种解决办法：

（1）安装python版本管理工具 pythonbrew

         下载地址：https://pypi.python.org/pypi/pythonbrew/1.3.5

         下载解压，进入pythonbrew1.3.5

         阅读README.rst，按照推荐安装步骤进行：

         （1）curl -kLhttp://xrl.us/pythonbrewinstall | bash

                   需要安装依赖库： curl

                   sudoapt-get install curl

                   安装完curl之后，执行步骤（1）命令行，显示：

         （2）根据上面输出提示，将提示命令写入~/.bashrc末尾，即：

[[ -s"$HOME/.pythonbrew/etc/bashrc" ]] && source"$HOME/.pythonbrew/etc/bashrc"

 

         （3） 选择相应的版本号：

         pythonbrew  switch 2.6.6

 

注：重点推荐pythonbrew软件，希望各位在安装python之前就安装pythonbrew，可以使用pythonbrew安装想要的python版本。

 

（2）使用软链接：

本例中，python2.6.6安装在/usr/local/lib下，因此软链接可以为：

sudo ln -s/usr/bin/python   /usr/local/lib/python2.6.6/bin/python2.6

 

四、安装zeromq

1、安装 zeromq

（1）下载zeromq源码，版本号2.1.7

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

 

报错，缺少 uuid-dev

 

因此安装 sudo  apt-get install  uuid-dev

（2）编译安装：

make

make install

 

五、安装jzmq

（1）下载jzmq源码

https://github.com/zeromq/jzmq

执行 ./autogen.sh，报错：

 

需要安装 pkg-config

sudo apt-get install pkg-config

 

依然报错：

需要安装libtool

sudo apt-get install libtool

 

依然报错：

需要安装autoconf和automake：

sudo apt-get install automake  autoconf

在安装过程中自动安装了依赖库m4

 

./autogen.sh执行成功，生成configure

./configure

make 出错：

解决办法：http://my.oschina.net/mingdongcheng/blog/43009

1）首先在makefile所在路径以及src目录下都生成一个classdist_noinst.stamp空文件。

2）到src/org/zeromq目录下：javac  *.java

3）到src目录下：make  -j24; make install

4) 到makefile所在路径下： make-j24； make  install

 

 

 

六、storm安装以及配置过程：

 

1、下载可执行软件包：

http://storm.incubator.apache.org/downloads.html

 

2、启动过程：

参考storm官网：

http://storm.incubator.apache.org/documentation/Setting-up-a-Storm-cluster.html

 

（1）修改storm配置文件：

 

（2）启动storm  nimbus：

bin/storm nimbus >/dev/null 2>&1 &

 

（3）启动 supervisor：

bin/storm supervisor >/dev/null 2>&1 &

 

（4）启动 ui：

bin/storm ui  >/dev/null 2>&1&

 

注意：

ui节点与nimbus节点最好位于同一节点。

ui默认使用端口为8080，但是这个端口已经被tcp占用，因此需要修改ui.port参数，以防端口冲突。

 

（5）查看storm ui：