Kylin 新定位：分析型数据仓库

亲爱的各位社区朋友：

 

Apache Kylin 在 2014 年 10 月开源并加入 Apache 软件基金会的孵化器，一年后从孵化器毕业成为 Apache 顶级项目。从第一天起，Kylin 的标语是「Extreme OLAP Engine for Big Data」。五年来，Kylin 已经成为了大数据版图中一个不可或缺的角色，帮助了全球上千家企业进行高效的大数据分析。

 

经过五年的发展，如今回头看，我们发现 Kylin 已经不仅仅是一个 OLAP 分析引擎。它的完整能力已经被被广大社区用户证实超越了「OLAP Engine」的范畴，被广泛应用于不同的场景，扮演更加全面的角色：

1. 当年 eBay 发起 Kylin 项目时，寄希望它能够将部分负载从昂贵的专有商业数据仓库如 Teradata 迁移到廉价、开放的大数据平台上。五年过去了，Kylin 凭借高性能和高可用性在 eBay 内部被广泛使用，而 Teradata 逐步被替换。今天，Kylin 在 eBay 每天服务数百万次查询，且大多数查询在 1 秒钟内完成。
2. 美团、携程、京东、滴滴、小米、华为、丁香园，OLX 集团、汽车之家、Xactly 等许多公司都使用 Kylin 打造了他们的 DaaS（数据即服务）平台，为成千上万的分析师和租户提供数据服务。
3. 一些微软 SSAS 的用户也正在逐步迁移到 Kylin 上，以承载更大的数据容量和获得更好的体验。
4. 中国银联和某头部保险集团从 IBM Cognos 架构升级到 Hadoop + Kylin。因为分布式架构的优势，Kylin 对传统方案具备降维打击的能力，在某些场景中，一个 Kylin Cube 取代了数百个 Cognos Cube，不但管理运维的复杂度大大降低，并且具有更好的构建性能和查询性能。
5. 建设银行、农业银行等已经使用 Kylin + Hadoop 来构建下一代大数据分析平台，解决扩容难和并发低的难题。

从这些用户案例可以看出，社区用户们不仅仅把 Kylin 当作功能单一的引擎使用，而是使用 Kylin 来替换传统分析型数据仓库的工作。下面我们就来看一下什么是数据仓库吧。

 

数据仓库的定义有很多，下面是一个广泛被接纳的定义【1】：

A data warehouse is a subject-oriented, integrated, time-variant and non-volatile collection of data in support of management’s decision-making process.

 

翻译一下就是：数据仓库是面向主题的、集成的、体现时间变化的，以及非易变的一组数据集合，以支持管理者做出关键决策。

 

对照到 Kylin 的能力:

1. 在 Kylin 中，你可以为每个分析主题或场景，创建一个或多个OLAP Cube；每个 Cube 都是面向特定主题的。
2. Kylin 与 Hadoop、 Hive、Spark、Kafka 等系统实现了无缝集成，你可以在大数据平台上很容易地使用它。这也是为什么 Kylin 很容易被接纳的原因之一。
3. Kylin会按照时间来分区加载数据，构建 Cube，然后保存为片段(也称分区)；对于维度表，Kylin 每次会生成快照。这些数据在分析过程中是稳定的，不会随意改变。
4. 当你在分析(上滚、下钻等)过程中，Kylin 的数据是稳定一致的，所有层级的汇总结果都严格一致。
5. Kylin 提供了 SQL 查询接口和 JDBC/ODBC/HTTP API，用户将其与 BI/可视化工具（如 Tableau 等）轻松连接。

从这里可以看出，Kylin 的实现，与数据仓库的关键特性不谋而合。事实上，当初设计 Kylin 的时候，团队也是受了数据仓库概念非常大的影响。

 

 

经过社区开发者们的不断努力，如今 Kylin 不再只是一个加速器，它提供了丰富完整的能力：友好的 Web 界面，向导式的设计器，自动化的任务生成和数据加载，高性能的查询和存储引擎，完善的 API 接口，完整的用户权限和安全控制等，结合 Hadoop 的分布式存储和计算框架，它已经足以构成一个完整的分析型数据仓库方案。在开源大数据技术中，Kylin 是独一无二的，融合了传统数据仓库的经典理论和大数据的前沿技术；它设计优雅，架构可扩展可插拔，能够适应从 GB 到 PB 甚至 EB 规模的数据。

 

2020 年 3 月，Kylin 社区通过讨论，决定将 Kylin 的标语从「Extreme OLAP Engine for Big Data」更改为 「Analytical Data Warehouse for Big Data」【2】，以更加准确地描述 Kylin 的能力和定位，也更容易地让用户通过搜索引擎检索到它，将它推介给更多用户，应用于更多场景中。

 

一路走来，感谢各位的贡献与支持，下一个五年，期待有更多创新！

 

史少锋

Apache Kylin PMC Chair

 

相关阅读：

【1】 https://walkerscott.co/2017/10/data-warehouse/

【2】 https://kylin.apache.org/

 

了解更多大数据资讯，点击进入Kyligence官网