storm 笔记

storm  部署 分为  nimbus 、 supervisor  、drpc 、ui  四部分

1、nimbus 

    它的作用类似Hadoop里面的JobTracker。Nimbus负责在集群里面分发代码,分配计算任务给机器, 并且监控状态。被成为主节点、控制节点(master node)等等

 后台启动方式命令:    nohup storm nimbus &   


2、supervisor

     工作节点(worker node),每一个工作节点上面运行一个叫做Supervisor的节点。Supervisor会监听分配给它那台机器的工作,根据需要启动/关闭工作进程。每一个工作进程执行一个topology的一个子集;一个运行的topology由运行在很多机器上的很多工作进程组成。

 后台启动方式命令:    nohup storm supervisor &   


3、drpc 服务

     DRPC包括服务端和客户端两部分。服务端由四部分组成:包括一个DRPC Server, 一个 DPRC Spout,一个Topology和一个ReturnResult。    DRPC Server主要起协调客户端和topology的作用,其接收客户端的请求,并将请求发送给topology,然后将topology的处理结果返回给客户端。

 后台启动方式命令:    nohup storm drpc &   

  修改Storm/conf/storm.yaml中的drpc server地址;需要注意的是:必须修改所有Nimbus和supervisor上的配置文件,设置drpc server地址。否则在运行过程中可能无法返回结果。  

        drpc.servers:

             - "vm1"

             - "vm2"

4、ui

    storm 集群运行情况监控,可以查看配置信息及当前Topology数量及运行情况。需要和nimbus在同一台机器上运行。

    后台启动方式命令:    nohup storm ui &   



你可能感兴趣的:(storm 笔记)