Nimbus中的线程

nimbus主线程之外还有一个计时器线程,他主要有三个作用:
一>、调用mk-assignment方法启动新一轮任务的分配,调用do-cleanup方法清理storm元数据。这两项操作会每个nimbus.monitor.freq.secs执行一次,默认值:10秒。
二>、调用clean-inbox方法清理nimbus本地目录中的topoloyg的jar包。该操作每个nimbus.cleanup.inbox.freq.secs执行一次,默认值:600秒。
三>、topology的状态转移时间,只有当nimbus接收到对应的服务请求时才会触发,比如:kill、rebalance、activate、deactivate。

mk-assignments方法主要负责对当前集群中所有topology进行新一轮的任务调度。
1、检查已经运行topology所占用的资源,判断他们是否有问题,是否需要重新分配。
2、根据系统当前的可用资源,为新提交的topology分配任务。
3、将所有的分配信息保存或更新到zookeeper中。
4、supervisor会周期性的检查这些分配信息,并根据这些分配信息做相应的调度处理。

do-cleanup方法主要用来判断哪些topology需要清理,并对需要清理的topology做相应的处理。
1、先删除topology保存在zookeeper中的心跳以及错误信息。
2、尝试清理nimbus本地目录中相关文件,并从nimbus心跳缓存中移除对应的信息。

clean-inbox负责清理nimbus的inbox文件夹$rootPath/nimbus/inbox
1、最后一次修改时间超过了nimbus.inbox.jar.expiration.secs的限定,默认值3600秒。

你可能感兴趣的:(Nimbus中的线程)