Spout的生命周期

1、在定义Topology实例过程中,定义好Spout实例和Bolt实例
2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法,以获取定义的Topology实例。在运行createTopology()方法的过程中,会去调用Spout和Bolt实例上的declareOutputFields()方法和getComponentConfiguration()方法,declareOutputFields()方法配置Spout和Bolt实例的输出,getComponentConfiguration()方法输出特定于Spout和Bolt实例的配置参数值对。Storm会将以上过程中得到的实例,输出配置和配置参数值对等数据序列化,然后传递给Nimbus。
3、在Worker Node上运行的thread,从Nimbus上复制序列化后得到的字节码文件,从中反序列化得到Spout和Bolt实例,实例的输出配置和实例的配置参数值对等数据,在thread中Spout和Bolt实例的declareOutputFields()和getComponentConfiguration()不会再运行。
4、在thread中,反序列化得到一个Spout实例后,它会先运行Spout实例的open()方法,在这个方法调用中,需要传入一个SpoutOutputCollector实例,后面使用该SpoutOutputCollector实例输出Tuple
5、然后Spout实例处于deactivated模式,过段时间会变成activated模式,此时会调用Spout实例的activate()方法
6、接下来在该thread中按配置数量建立task集合,在每个task中循环调用线程持有Spout实例的nextTuple(),ack()和fail()方法。任务处理成功,调用ack();任务处理失败,调用fail()
7、在运行过程中,如果发送一个失效命令给thread,那么thread所持有的Spout实例会变成处于deactivated模式,并且会调用Spout实例的deactivate()方法
8、在关闭一个thread时,thread所持有的Spout实例会调用close()方法
不过如果是强制关闭,这个close()方法有可能不会被调用到


参考文献:
[1]http://stackoverflow.com/questions/21689059/with-storm-spouts-when-is-declareoutputfields-called
[2]http://blog.findhy.com/blog/2014/06/10/storm-spouts-lifecycle/

[3]http://storm.apache.org/apidocs/backtype/storm/spout/ISpout.html

[4]https://github.com/nathanmarz/storm/blob/moved-to-apache/storm-core/src/jvm/backtype/storm/topology/TopologyBuilder.java#L226

[5]https://github.com/colinsurprenant/redstorm/blob/master/src/main/redstorm/storm/jruby/JRubyBolt.java#L25

你可能感兴趣的:(Spout的生命周期)