流式计算框架
流式计算框架
S4
S4会将数据里的每一条记录包装成event事件，每个事件是一个KV对，同时有eventType来标示这个事件的类型。
PE是S4中的基本运算单元。每个PE只负责处理自己所关心的eventtype,并且只处理自己所对应的key值的event。PE处理后可能输出一个或多个event。就像hadoop上的map,reduce的接口实现类似的。
ProcessingNode是一个逻辑节点，负责监听消息的到来，对消息进行处理，然后通过Communication Layer将event在集群中分发。
通过图2的设计，可以保证，对应于相同event type，key和key值的event一定会被路由到对应的PN。
底下的Communication Layer和Zookeeper共同完成了集群管理和自动failover功能。
http://www.programmer.com.cn/5304/
http://rdc.taobao.com/team/jm/archives/728
Flumebase
FB的优点就是基于streaming-sql形式，跟hive很类似，利用flume来采集相关数据。
首先客户端向FB-server提交sql语句，如创建一个streaming，即表定义语句，则FB-server会将该表信息放到内存的符号表中。
然后客户端可以向fb-server提交一个查询语句，对sql语句进行语法分析与检查，然后生成一棵flow树，同时根据该流的类型，建立起监听数据的工作单元。
比如是flume上收集的某个topic数据，就是向flume注册该topic，当该topic有数据时，就向fb-server发送过来，然后server端在执行flow树上的操作，将最后的结果返回给客户端。
http://flumebase.org/
Storm
类似于Hadoop框架的即时数据处理工具，是由BackType开发的，9月份会开源。
类拟的框架还有streambase,hstreaming等。
后记：这篇是半个月前写的，最近一直在忙找工作的事情，自已也没想到会这么早离开第一份正式工作，不过这个过程，倒是让我学习了很多职场知识，可悲的是，这半个月基本上没有看或写一行代码，接下来不能这样了，得继续拿起我的家伙，干活！