kylin 核心概念

  • 核心思想:Apache Kylin的核心思想是根据用户的数据模型和查询样式对数据进行预计算,并在查询时直接利用预计算结果返回查询结果。

  • 支持hive和spark引擎

  • Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube,实现聚合的预计算。理论上而言,构建 N 个维度的 Cube 会生成 2N 个 Cuboid, 如图 1 所示,构建一个 4 个维度(A,B,C, D)的 Cube,需要生成 16 个Cuboid。

  • Hadoop: 2.7+, 3.1+ (since v2.5)
    Hive: 0.13 - 1.2.1+
    HBase: 1.1+, 2.0 (since v2.5)
    Spark (可选) 2.3.0+
    Kafka (可选) 1.0.0+ (since v2.5)
    JDK: 1.8+ (since v2.5)
    OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

  • 其采用分层构建计算,思想是排列组合方式
    group by (A,B,C,D)组合方式 共16种可能方式 16个cube,整体称为数据多维立方体 ,数据存储hbase种

    image.png

  • kylin 的优化就是减少cube的生成

你可能感兴趣的:(kylin 核心概念)