Apache Storm-2011

Storm设计的目的是用来实时处理数据，运行在Storm集群中的任务通常是不会停止的，因为任务是为了执行实施作业。

• 2种编程组件
  • spout 喷嘴
  • bolt 螺栓
• 包含spout和bolt的数据流图叫做拓扑，拓扑是Storm中的重要概念

在Storm系统中，ZooKeeper用于管理系统中各节点之间所有的协调工作，包括主控节点与工作节点之间，及不同工作节点之间。ZooKeeper的服务是高可用的，可通过配置ZooKeeper集群实现，每个节点上存储一份数据，leader节点故障后可以重新选取一个节点作为leader节点协同一致。
storm集群各节点的所有状态信息都保存在ZooKeeper里面；nimbus通过向ZooKeeper写状态信息来分配任务，supervisor通过从zookeeper读状态来领取任务：supervisor和worker定时发送也跳信息到zookeeper，使得nimbus可以监控整个storm系统的状态，从而可以重启出故障的作业。zookeeper服务造就了Storm系统的健壮性；任何一个工作节点故障，都可以通过重启supervisor服务，然后由其从zookeeper上面重新获取状态倍息来实现恢复。
ZooKeeper数中的每个节点被称为Znode。它维护一个stat结构，其中包含数据变化、时间戳等。版本号加上时间戳被ZooKeeper用来验证缓存并协调更新。每次Znode的数据发生变化时，版本号增加。客户端可以在znode中设置监视器。