storm 基础知识点

 

 

 

                                                        STROM基础知识点

1、  STROM基本概念

 

2、  构建TOPOLOGY

1）  实现目标

实现对一个句子里面的单词出现的频率进行统计

2）  设计TOPOLOGY结构

开发STROM项目的第一步

 

3）  设计数据流

4）  代码实现

5）  运行TOPOLOGY

 

 

3、  TOPOLOGY并行度

   

4、  消息TUPLE的可靠处理

以构建的TOPOLOGY为例

• 消息被完整处理

超时值

 

• 消息的生命周期

• 可靠相关的API

• 高效的实现tuple tree

• 选择合适的可靠性级别

• 集群的各级容错

 

  

5、  一致性任务

 

 

6、  STORM实力

 

在本地用maven跑

 

D：\workspace\storm-starter>mvn  compile exec:java  �CDstorm.topology=

Storm.starter.LogTopology

 

红色是项目的根目录

***是包名

蓝色是要跑的那个topology

 

Storm命令简介

 

 

提交Topologies

命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

样例：storm jar /storm-starter.jarstorm.starter.WordCountTopology wordcountTop

#提交storm-starter.jar到远程集群，并启动wordcountTop拓扑。

停止Topologies

命令格式：storm kill 【拓扑名称】

样例：storm kill wordcountTop

#杀掉wordcountTop拓扑。

启动nimbus后台程序

命令格式：storm nimbus

启动supervisor后台程序

命令格式：storm supervisor

启动drpc服务

命令格式：storm drpc

启动ui服务

命令格式：storm ui

启动REPL

REPL ― read-evaluate-print-loop。

虽然clojure可以作为一种脚本语言内嵌在java里面，但是它的首选编程方式是使用REPL，这是一个简单的命令行接口，使用它你可以输入你的命令，执行，然后查看结果， 你可以以下面这个命令来启动REPL：

命令格式：storm repl

打印本地配置

命令格式：storm localconfvalue 【配置参数关键字】

举例：storm localconfvalue storm.zookeeper.servers

#根据指定参数打印本地配置的值。

打印远程配置

命令格式：storm remoteconfvalue 【配置参数关键字】

举例：storm remoteconfvalue storm.zookeeper.servers

#根据指定参数打印远程配置的值。

执行Shell脚本

命令格式：storm shell resourcesdir command args

打印CLASSPATH

命令格式：storm classpath