storm的全分布式以及HA的配置

    接着上周的文章，做storm的全分布式以及HA的配置。storm的全分布式配置相比较伪分布式，修改的不多，今天把配置做好后，再运行一个官方的jar包来实际的操作数据的采集，查看处理的结果。

1. 准备三台机器，bigdata112 bigdata113 bigdata114,其中bigdata112做主节点。首先三台机器上都要安装zk和storm，同时配置好环境变量。

2. 修改配置文件conf/storm.yaml

// 设置zk地址

Storm.zookeeper.servers:

- “bigdata112”

- “bigdata113”

- “bigdata114”

// 设置nimbus主节点的地址，两个节点做HA

nimbus.seeds: [“bigdata112”, “bigdata113”]

// 首先要创建此目录，保存的是客户端提交的jar文件

storm.local.dir: “/root/training/apache-storm-1.0.3/tmp”

// 设置每个从节点上的worker个数

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

// 启动eventlogger,可以查看处理的

“topology.eventlogger.executors”: 1

3. 将配置好的storm复制到其他两个节点

scp -r apache-storm-1.0.3 root@bigdata113:/root/training/

scp -r apache-storm-1.0.3 root@bigdata114:/root/training/

4. 启动：

主节点bigdata112: storm nimbus &

                              ui网页 storm ui &

                              storm logviewer & //启动日志查看器

主节点bigdata113: storm nimbus &

                              ui网页 storm ui &

                              storm logviewer & //启动日志查看器

从节点bigdata113和bigdata114: storm supervisor &

                                                   storm logviewer &

5. Demo的演示，使用storm的官方例子

Example位置：/root/training/apache-storm-1.0.3/examples/storm-starter/storm-starter-topologies-1.0.3.jar

6. 运行命令：

storm jar storm-starter-topologies-1.0.3.jar

org.apache.storm.starter.WordCountTopology MyWCTopology

通过ui查看运行的数据过程，查看结果。storm结束的时候要在界面上关闭运动的任务。