Storm里的Stream grouping

Stream grouping:

  • Shuffle Grouping:  随机分组, 随机分发stream里的tuple,并保证每个bolt能接收到的tuple数目大致相等。

  • Fields Grouping:  字段分组, 比如按userid来分组, 具有相同userid的tuple会被分发到相同的bolt里的一个task,而不同的userid则会被分配到不同的bolt里的task。

  • All Grouping:  广播分组,对于每一个tuple,所有的bolt都会收到。

  • Global Grouping:  全局分组, 是将所有源实例产生的tuple发送到一个单独的目标实例(特别地,ID 最低的任务)中。

  • Non Grouping:  不分组,意思是说stream不关心到底谁会收到它的tuple。目前这种分组和Shuffle grouping是一样的效果, 但有一点不同的是storm会把这个bolt放到这个bolt的订阅者同一个线程里面去执行。

  • Direct Grouping:  直接分组, 这是一种比较特别的分组方法,由源决定哪个组件将接收tuple的分组。只有被声明为Direct Stream的消息流可以声明这种分组方法。且tuple必须使用emitDirect方法来发射。

  • Local or shuffle grouping:  如果目标bolt有一个或者多个task在同一个工作进程中,tuple将会被随机发生给这些tasks。否则,和普通的Shuffle Grouping行为一致


BaseBasicBolt 与 BaseRichBolt 的区别。

BaseRichBolt

You must – and are able to – manually ack() an incoming tuple.Can be used to delay acking a tuple, e.g. for algorithms that need to work across multiple incoming tuples.

BaseBasicBolt

Auto-acks the incoming tuple at the end of its execute() method.These bolts are typically simple functions or filters.




你可能感兴趣的:(Stream,grouping)