从集群看Storm

0x00：Storm集群的框架

• ①Storm集群遵循主/从(Master / Slave)架构，和Hadoop等分布式计算技术类似。在主从架构中，通常有一个配置中静态指定或运行时动态选举出的主节点。Storm使用前一种方式，而主/从架构因为引入了单点故障的风险而被诟病。
• ②Storm的主节点是半容错的：

  ①严格意义上Nimbus不会引起单点故障，因为Nimbus不参与Topology的处理过程，仅仅管理Topology的初始化、任务分发和进行监控。实际上，如果Nimbus守护进程在Topology运行时停止了，只要分配的supervisor和worker健康运行，数据会继续处理。
  ②但是，如果Nimbus已经停止的情况下，Supervisor异常终止，因为没有Nimbus守护进程重新分配失败的任务，数据处理就会失败。

0x01：理解Nimbus守护进程

image.png

0x02：Supervisor守护进程的工作方式

image.png