doris总结

文章目录

    • 文档
    • 官方文档
    • 架构
    • 数据模型
    • 数据组织

文档

链接1
链接2

官方文档

官方文档

架构

架构很简洁,只设FE(Frontend)、BE(Backend)两种角色、两个进程,不依赖于外部组件,方便部署和运维。
以数据存储的角度观之,FE存储、维护集群元数据;BE存储物理数据。
以查询处理的角度观之, FE节点接收、解析查询请求,规划查询计划,调度查询执行,返回查询结果;BE节点依据FE生成的物理计划,分布式地执行查询。
FE主要有有三个角色,一个是leader,一个是follower,还有一个observer。leader跟follower,主要是用来达到元数据的高可用,保证单节点宕机的情况下,元数据能够实时地在线恢复,而不影响整个服务。
数据的可靠性由BE保证,BE会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

数据模型

维度列,指标列
合并的策略,
unique key 少维度
Duplicate Key 明细

数据组织

按列存储,节省IO, CPU友好

物化视图:

两层分区,分级存储
缺点在于不支持索引(可结合ES)

Column分为两类:Key和Value,从业务角度看,Key和Value可以分别对应维度和指标列。
Doris主要包括三种数据模型:Aggregate、Uniq和Duplicate
参考

你可能感兴趣的:(大数据,大数据,OLAP)