如何在Windows下搭建storm

如何在Windows下搭建storm

在过去,在windows下跑storm是一个极大的挑战。通常,这种方式会涉及到Storm的源码编程方式,storm的生态依赖以及如何让windows伪装成UNIX/POSIX。

就是因为这个原因,导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。

非常感谢Storm的开发者David Lao以及 来自Yahoo!的贡献(making-storm-fly-with-netty),下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。

我们看一下搭建成功的界面:

如何在Windows下搭建storm_第1张图片
下面,我将列出几个步骤,讲述如何将storm部署到windows环境中,并且将会跑一个简单的拓扑在这个环境中。

安装JAVA:

下载JDK(Storm 需要的环境是JDK6/7),在这个步骤中,我使用JDK 7,大家可以自行到Oracle官网下载。

我将它安装在:

D:\Java\jdk1.7.0_80

安装Python:

为了测试python的安装,我将部署”word count”来自storm-starter project 的例子,一个用python写的multi-lang bolt。我使用的python2.7.6可以从这里下载。

我将python安装在这里:

D:\Python27

安装以及执行Zookeeper:

下载 Apache Zookeeper 3.3.6并且解压它。按照如下命令进行配置以及执行:

> cd zookeeper-3.3.6
> copy conf\zoo_sample.cfg conf\zoo.cfg
> .\bin\zkServer.cmd

安装Storm:

允许storm部署到windows下的官方正式版本现在还没有发布,但是你可以下载并且编译包含了这个功能的版本,点击这里下载。

(源码分支参考这里)。

解压压缩包到你想要的位置。我选择 D盘。

配置环境变量

在windows下需要配置两个环境变量: STORM_HOME 以及 JAVA_HOME ,并且同样要将安装路径配置到PATH中。

JAVA_HOME

D:\Java\jdk1.7.0_45\

STORM_HOME

D:\storm-0.9.1-incubating-SNAPSHOT-12182013\

PATH Add:

%STORM_HOME%\bin;%JAVA_HOME%\bin;D:\Python27;D:\Python27\Lib\site-packages\;D:\Python27\Scripts\;

PATHEXT Add:

.PY

Start Nimbus, Supervisor, and Storm UI Daemons

为每一个运行实例打开一个命令行:

Nimbus

> cd %STORM_HOME%
> storm nimbus

Supervisor

> cd %STORM_HOME%
> storm supervisor

Storm UI

> cd %STORM_HOME%
> storm ui

通过浏览器 http://localhost:8080/ 验证一下Storm是否已经跑起来了。

更多文章请访问

你可能感兴趣的:(如何在Windows下搭建storm)