大数据分析需要分布式计算架构

我们说大数据分析,说云计算,都少不了分布式计算技术。因为要实现大规模的计算和数据分析,一台服务器肯定是不够的,你也不能简单地将不同功能模块分布到不同的机器上运行,这充其量也只能叫做scale-up,但是最终你一定需要scale-out,这才是真正的分布式计算,或者叫并行计算。

DeveloperWorks上今天刊载了一篇文章,展示了ZooKeeper这个分布式计算调度器的力量。这个Yahoo共享的开源项目已经在很多大型网站的后台分布式计算中得到了实际应用。

对于安管平台而言,你可以通过scale-up实现分布式事件采集,但是你需要用到scale-out才能实现分布式事件分析。

你可能感兴趣的:(zookeeper,分布式计算,大数据分析,BDA)