互联网项目中， 一些可能有用的开源系统

from:   vipshop分享。

http://www.infoq.com/cn/presentations/from-data-collection-to-massive-data-processing-and-real-time-processing?utm_source=infoq&utm_medium=videos_homepage&utm_campaign=videos_row1

flume 分布式的日志收集、聚合、传输。

kafaka linkedin开源的分布式message Q

storm，基于流的、分布式的、实时计算； 数据全在内存中。  与hadoop的区别是，hadoop数据落地到磁盘、延时大。 http://www.zhihu.com/question/20098507

ElasticSearch， 基于lucene的全文检索。 kibana， elasticSearch对应的前端api。

zookeeper， 提供分布式锁。 可用来维护全局配置信息：命名服务、配置信息等； 用做负载均衡时？ 先与zookeeper通信取得可用的节点、再与节点通信实现负载均衡。