storm概念

此页面列举了Storm的主要概念和资源连接。讨论的概念有：

1. 拓扑（Topologies）
2. 流（Streams）
3. Spouts
4. Bolts
5. 流分组（Stream groupings）
6. 可靠性（Reliability）
7. 任务（Tasks）
8. Workers

拓扑

实时应用程序的逻辑被打包进一个Storm拓扑。一个Storm拓扑类似于MapReduce作业。一个主要的差异是MapReduce作业最终会执行完成，而一个拓扑永久运行（知道你杀死它）。一个拓扑是一个spouts和bolts组成的图连接着流分组。这些概念下面讲述。

资源：

• TopologyBuilder：在java中使用此类构建拓扑。
• 在集群中运行拓扑
• 本地模式：如何在本地开发和测试拓扑

流

流是Strom的核心抽象。流是一个无界的元组序列，在分布式下被处理和创建。流的模式名称字段中定义流的元组。默认情况下，元组可以包含整形，长整型，短整型，字节，字符串，浮点型，bool，按字节数组。你也可以定义自己的序列化器使得自定义类型可以再tuples中使用。

每个流在声明的时候都要给定一个id。由于单个流spouts和bolts是如此常见， OutputFieldsDeclarer提供了便捷的方法声明一个留而不需设置Id，这种情况下，流的id默认值为default。
资源：

• Tuple：流是由元组组成。
• OutputFieldsDeclarer：用来声明流和模式
• Serialization：关于Storm的动态元组类型和自定义序列化的信息

Spouts

一个Spouts是拓扑中流的源。通常spouts从外部源中读取元组并把他们发送到拓扑中。Spouts可以是可靠的或者不可靠的。一个可靠的spout可以在storm处理失败的时候重放元组，不可靠的spout发送晚了元组就不管了。

Spouts可以发送到多个流。这么做，需要使用OutputFieldsDeclarer的declareStream方法声明多个流并且在使用 SpoutOutputCollector中的emit方法时指定流。

spouts的主要方法是nextTuple。nextTuple发送一个新的元组到拓扑中或者在没有新的元组时直接返回。nextTuple不阻塞所有spout的实现，因为Storm在同一现成中调用所有的spout方法。

spouts的其他重要的方法有ack和fail。当Storm检测到元组发送成功或者失败的时候调用。ack和fail只在可靠的spouts中有效，更多查看the Javadoc。

资源：

• IRichSpout：这是spouts必须实现的接口
• 保证消息处理

Bolts

拓扑中的所有的处理都在bolts中完成。Bolts可以做任何事，过滤，函数，聚合，连接，和数据库交互等等。

Bolts可以做简单的stream转换。复杂的流转换通常需要多步多个bolts。例如，

Bolts可以发送到多个流。这么做，需要使用OutputFieldsDeclarer的declareStream方法声明多个流并且在使用 SpoutOutputCollector中的emit方法时指定流。

当你声明了一个bolt输入流，通常订阅到其他组件指定流上。如果你想要另外一个组件的所有流，你必须逐个订阅。 InputDeclarer有愈发同订阅流声明了默认的stream id。declarer.shuffleGrouping("1")订阅到组件1的默认留中等价于declarer.shuffleGrouping("1", DEFAULT_STREAM_ID)。

bolts的主要方法是execute接受一个元组作为输入。Bolts使用OutputCollector对象发送新的元组。Bolts处理每个元组时必须调用OutputCollector 的ack方法，使得Storm知道元组完成了（并最终决定发送ack到原始的spout元组）。处理一个输入元组，发送0个或多个tuples取决于输入元组并ack到如入元组，Storm提供了一个 IBasicBolt 接口自动执行ack操作。

在bolts中完全可以启用新的现成一部处理， OutputCollector线程安全可随时调用。

资源：

• IRichBolt：bolts通用接口
• IBasicBolt：一个方便定义bolts过滤和些简单函数的接口
• OutputCollector：使用此类型的实例供bolts发送元组到输出流
• 保证消息处理

Stream groupings

定义拓扑的一部分指定每个bolt该从哪些流中接受如数。一个流分组根据bolt的任务定义了流应该如何划分。

Storm有8个内置流分组。你也可以通过实现 CustomStreamGrouping接口实现自定义的流分组。

1. Shuffle grouping（洗牌分组）：元组随机的出现在bolt任务中，每个bolt都会得到等量的tuples
2. Fields grouping（字段分组）：根据分组的字段划分流。例如，如果流是根据user-id的字段分组，有相同user-id的元组到相同的bolt任务中，不同的user-id的元组到不同的任务中。
3. Partial Key grouping：
4. All grouping：流被发送到所有的bolt任务中，使用此分组需小心。
5. Global grouping:整个流至进入到一个bolt任务中。明确的，它只会到id最小的任务中。
6. None grouping
7. Direct grouping
8. Local or shuffle grouping
   资源：

• TopologyBuilder：使用此类定义拓扑
• InputDeclarer：当TopologyBuilder调用setBolt方法时返回此对象，用于声明bolt输入流和如何组织流分组。

可靠性

Storm保证每个spout元组都会被完全处理。