笔记presto、Druid、kylin和flink的应用场景

应用场景

  • presto

Presto是Facebook开发的数据查询引擎。对orc文件读取做了优化,建议建表使用orc,压缩使用snappy。大表放左边。基于内存,不使用mapreduce,能够连接多个数据源,跨数据源表查询

适合场景:
适合如count,avg聚合运算,边计算边清内存,支持GB到PB,主要用来处理秒级场景。

缺点:
不适合联表查询

  • Druid

是一个实时分析型的数据库,支持实时分析,列式分布式的存储系统,处理PB毫秒级查询。

适合场景:
用于清洗好的,不需要更新的单表,实时性高,数据质量敏感不高的场景

  • kylin

kylin是一个开源的、分布式的分析型数据仓库。使用预计算技术,预先对数据做多维索引,查询只扫描索引不访问原始数据,目前只支持星型模型。

适合场景:
主要配合hive,多维分析

  • flink

Flink是一个分布式处理引擎。批处理主要处理大容量的静态数据集;流处理基于事件的,处理数据无边界,处理结果立即可用,持续更新。

适合场景:
流批一体,实时采集、实时计算

你可能感兴趣的:(kylin,flink,大数据)