Druid架构分析

lambda架构

druid采用lambda架构,将实时数据和批处理数据解耦。

实时数据处理面向写多读少的优化,批处理数据部分面向读多写少的优化。

分布式结构“shared nothing”,各个节点都有自己的计算能力和存储能力,整个系统使用zookeeper进行协调,mysql存储元数据。

lambda架构:批处理层,服务层,速度层。

批处理层:如Hadoop,合理的批处理工具。

服务层:用于加载和实现数据库中的批处理视图,以便用户能查到。不一定需要随机写,但是支持批更新和随时读。

速度层:主要用来处理新数据和服务层更新造成的高延迟补偿,利用流处理工具和随机读写数据库来计算实时视图(Hbase),这些视图有效期一直到它们已经能通过批处理和服务层获得为止。

你可能感兴趣的:(Druid架构分析)