Twitter即将开源即时数据处理工具Storm

开发者的好消息：Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是BackType开发的，后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用：

• 信息流处理{Stream processing}: Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。
• 连续计算{Continuous computation}: Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。
• 分布式远程程序调用{Distributed RPC}: Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数，当它收到一条调用信息后，会对查询进行计算，并返回查询结果。

目前即时数据处理工具已经不少了，比如HStreaming（使用Hadoop），开源的S4和StreamBase，人们还需要一个开源的Storm吗？

除非注明，本站文章均为原创或编译，转载请注明： 文章来自 36氪