storm学习1

视频学习的摘录

案例

统计用户ip所在地域的统计值

典型应用场景

请求应答（同步）

流式处理 （异步）

 -逐条处理

    数据之间无关系：如实时日志格式标准化入库。

 -分析处理

    数据之间有关系（聚合等）：如日志pv/uv统计、访问热点统计

DGA计算模型

tuple:数据处理单元

stream:持续的tuple流

spout：从外部获取数据，输出原始tuple

bolt：接收spout/bolt输出的tuple，处理、输出新tuple

grouping：tuple从上游到某个下游多个并发task的分组方式

          --shuffleGrouping:随机发给某个下游task

 --fieldsGrouping:按照某几个字段做hash取模，发给对应task

 --allGrouping:发给下游全部task

Topology:一个应用的spout,bolt,grouping组合

Storm原理和架构

nimbus:集群的master,负责管理supervisor、调度topology

supervisor:负责运行topology的worker

worker：负责实际的计算和网络通信

zookeeper：负责存储以上模块的状态，做到高可用。

work是进程，是分配资源的单位，一个worker可以有多个executor,executor是线程，是处理的单位

executor执行spout.nextTuple()或bolt.execute(),调用emit生成新的tuple,放到executor的transfer queue

executor transfer thread 把自己transfer queue里面的tuple放到worker transfer queue

worker transfer thread 把transer queue里面的tuple发送到远程的worker

worker receive thread  分别从网络收数据，把tuple放到对应executor的receive queue

executor receive thread 从自己的reveive queue取出tuple,调用bolt.execute()

storm实战

启动drpc: bin/storm drpc

启动logviewr: bin/storm viewer

JavaAPI

-spout 

  nextTuple() 回调函数，循环触发

  ack(id)     回调函数，消息成功处理时触发

  fail(id)    回调函数，消息超时时触发

-bolt

  execute(Tuple input) 回调函数，数据触发

  collector.emit(tuple):通过collector向下游发送tuple

  collector.ack(tuple):通过collector确认已经成功处理输入tuple

不一定要用java，有shellBolt

DAG图:无回路有向图(Directed Acyclic Graph)

参考：http://www.chinahadoop.cn/course/57/learn#lesson/643