hadoop系列之Storm入门

并发编程网有更好的翻译

一.Javadoc

    javadoc

二.概念

    下面介绍storm的一些基本概念和一些资源的相关链接,包括Topologies、Streams、Spouts、Bolts、Stream groupings、Reliability、Tasks和Workers。

  1.Topologies(拓扑)

    在storm中,实时应用的逻辑会被打包成storm拓扑,storm拓扑和MapReduce的job类似,主要区别就是MR的一个job有始有终,而拓扑只要不是人为kill就不会主动结束。拓扑就是使用stream groupings连接多个spout和bolt的一张图。TopologyBuilder是Java中用于构建拓扑的Class,拓扑支持生产环境中运行和用于开发测试的Local mode。

  2.Streams

    流是storm的核心抽象。流是通过分布式方式创建和处理的元组的无限序列。流使用一个命名流元组的字段的概要来定义。默认情况下,元组包括了integers, longs, shorts, bytes, strings, doubles, floats, booleans和byte arrays,用户可以实现自己的序列化功能,以便更多的自定义类型可以原生支持。每个流在声明时都会有一个id,由于单流的spouts和bolts很普遍,用于声明流和概要的类OutputFieldsDeclarer有很方便的方法声明单独的流而无需具体id,这种情况下流会有一个默认id"default"。storm的动态化元组类型和声明自定义序列化器见serializations。

  3.Spouts

    spout是拓扑中流的数据源。通常是spouts从外在的数据源读取元组并把元组发散到拓扑,spouts支持可靠(失败重新发送)和不可靠(失败忽略)两种模式。spouts可以发散多个流,前提是使用OutputFieldsDeclarer类的declareStream方法并且在使用SpoutOutputCollector类的emit方法时制定要发散到的流。spouts的一个重要方法是nextTuple,作用是发散一个新的tuple到拓扑或者在没有新tuple简单返回。storm在同一个线程中调用所有spout方法,所以nextTuple万万不能堵塞。spouts另一个重要方法是ack和fail,只会被支持可靠性的spouts使用。所有的spouts必须实现IRichSpout接口。

  4.Bolts

    拓扑中bolts负责处理加工,bolts能够做的包括但不限于过滤、函数、聚合、连接、数据库操作等等。bolts能够做简单的流变化。复杂流转换一般需要多个bolts。例如将一组数据做按照出现次数排序需要至少两步,一个bolt负责统计每条数据出现的次数,接下来由一个或者多个bolt来取出出现次数topN的数据。bolts支持发散到多个流,需要使用OutputFieldsDeclarer类的declareStream方法声明多个流并且使用OutputCollector类的emit方法声明每个具体的要发散到的流。当声明bolt的输入流时,其实是订阅了另一个组件的某个具体的流,如果想订阅这个组件的所有流,不得不每个订阅一次。InputDeclarer类提供了订阅默认id的流的语法糖,declarer.shuffleGrouping("1")等效于declarer.shuffleGrouping("1", DEFAULT_STREAM_ID)。bolts的主要方式是execute,可以理解为新元组的输入,bolts使用OutputCollector类发散新元组。bolts在处理完每个元组时必须调用OutputCollector类的ack方法,从而使得storm知道处理完成。一般情况下处理一个输入元组,发散0到多个元组,然后才ack这个输入元组,storm提供了IBasicBolt接口(IRichBolt是通用的bolts接口)用于自动ack。OutputCollector类是线程安全的并且可以在任何时候被调用,在bolts中使用多线程异步处理是可以的。

你可能感兴趣的:(hadoop系列之Storm入门)