在大数据浪潮到来之际，企业为了对海量数据进行全面、快速、有效地智能分析，挖掘并释放出其中的价值，纷纷进行搭建大数据分析平台的尝试。但是很多企业还是采用基于传统数据库的分析平台架构，导致无法快速地对业务需求进行响应，甚至有的分析应用系统处于近乎瘫痪的状态。
通常，基于传统数据库的数据分析架构存在以下痛点和挑战：
面对新业务的拓展，预计未来数据量会以惊人速度增长，现有数据平台将无法支撑。
现有方案后台离线计算处理操作复杂，步骤繁多，耗时费力，人工维护成本过高。
在大数据量前提下分析性能受到极大影响，报表查询耗时在分钟级别，甚至无法打开使用，造成瘫痪状态。
平台扩展性差，原有数据仓库的性能遇到严重瓶颈，可扩展性极低，受制于国外厂商，成本高昂。
大量IT资源被浪费在重复性的工作中，增加IT工作人员的压力及难度，同时也投入了很高的运维成本。
无法对业务需求提供及时响应，阻碍业务开展及创新。
随着 Hadoop 成为大数据平台的事实标准，部分企业开始谋求转变，纷纷基于Hadoop 打造企业级的分布式大数据平台，很好地解决了海量数据的存储、管理及离线计算处理等问题。然而，Hadoop 上的交互式分析面临着以下问题：
查询性能慢，在海量数据的分析场景中，响应时间不理想。
并发支持弱，查询性能慢，限制了系统的整体吞吐量，每次查询要耗费大量计算资源。
技术门槛高，数据访问依赖编程实现，数据分析人员无法直接分析数据，且引擎众多，学习成本高。
迁移成本高，传统的 OLAP 项目迁移至 Hadoop平台，需要找到合适的组件和工具，快速进行数据建模，且能与已有的分析应用工具无缝对接。
由 Kyligence 提供的大数据智能分析解决方案，能够完美地响应企业的需求。
替换旧有方案，顺利升级架构
本节将以传统数据库和 Tableau 前端展现的架构为例，介绍 Kyligence 的升级替换方案。在旧有的案例中，企业首先会将业务系统中的海量数据抽取至传统数据仓库中，在后台进行转换、逻辑运算等处理操作；前端分析工具 Tableau 通过建立与数仓的数据连接，对处理过后的数据进行分析展现。
Kyligence Enterprise 是以 Apache Kylin 为核心的企业级智能大数据分析平台，提升大数据分析能力的利器，构建业务人员和平台内数据之间的桥梁，新的架构和数据分析模式使得数据分析变得极为高效，使能了业务自主化分析能力。
新的大数据平台架构为 Hadoop + Kyligence Enterprise + Tableau。以前存放到传统RDBMS 中的各系统数据，通过集中处理之后统一存入到 Hadoop 平台；并在Kyligence Enterprise 中依据不同的业务创建不同主题的数据集市和立方体，然后将业模型发布给业务分析人员。
Kyligence Enterprise 智能分析平台通过数据集市，将生硬的、技术化的表和字段等转换为业务人员能够理解的业务指标和分析维度，使得业务分析人员能够轻松通过前端 BI 工具如 Tableau 等对相关数据集市进行自助分析，通过可视化的拖拽方式制定分析思路，依赖于 Kyligence Enterprise 在超大规模数据集上的高速 SQL 查询能力，可以快速生成分析结果，进一步优化分析思路和业务决策。
大数据分析平台架构的顺利升级，顺应了大数据平台架构的演变趋势，符合未来的发展需要。
数据建模智能化，开发效率惊人
作为新一代的大数据智能分析平台，Kyligence Enterprise 利用了最新的人工智能技术，能够加速对业务场景所包含的逻辑计算的智能认知，完成快速建模操作，减少人工手动操作的开发成本，自动搭建大数据分析应用与底层数据平台的桥梁。
通过 Kyligence ODBC Driver，Tableau 对接 Kyligence 数据源。基于统一的查询入口，Kyligence 自动采集 Tableau 查询历史。查询历史代表了分析场景的模式和频次，被选中的关键查询模式将在 Kyligence 中完成语法检测和验证，并被用于后续的模型自动生成：
a.筛选性能影响关键的查询模式：
b.快速自动建模：
提交后，自动生成最优的数据模型，减少了冗余拖沓的手工操作。
c.自动推荐维度与度量，智能搭建数据立方体：
相比从前的手工建模方法，新一代的 Kyligence Enterprise 智能引擎能够自动地分析业务处理逻辑，并推荐维度和度量，极大提升了开发效率。
Kyligence Enterprise 智能建模功能改进了开发流程，减少了冗余的重复操作，工作人员可以高效地进行开发，极大地释放了生产力。从实施层面来说，一个人只要2天就完成了将近 100 张报表的迁移开发工作，工作效率有十倍以上的提升。
同时，相比较于其他方案，Kyligence Enterprise 智能建模提供方便易用的向导式操作界面，无需通过手动编码来完成建模操作，功能简便而丰富，降低了相关人员的学习门槛，减少了开发成本，极大地缩短系统上线周期。
分析应用无缝对接，平滑迁移
由于前期已经投入巨大的资源进行前端 Tableau 分析报表的开发，客户希望能够保留现有 Tableau 端的资产，不做改动，无缝对接底层的数据分析驱动平台，完成平滑迁移。从项目整体工程的角度来说，在实施过程中，应用层无需更改分析应用报表就可以无缝迁移，避免重复开发，大大减少了成本。同时，该迁移操作不影响业务人员的已有使用习惯，为已熟悉分析操作的业务人员带来一致的用户体验。
仅需两步，替换数据源，快速平滑迁移
Kyligence Enterprise 在建立数据源与切换数据连接过程中，只需两步便可快速地完成迁移，全面覆盖所有的业务分析应用，减少重复投入，保护现有投资：
a.通过Kyligence ODBC Driver 在 Tableau 建立 Kyligence 数据连接（示例）
b.替换报表中使用的数据源为 Kyligence Enterprise 数据源，快速完成所有报表的无缝迁移：
无缝集成，一键模型同步，原生TDS文件
作为 Tableau 的技术合作伙伴，Kyligence 的大数据智能分析平台 Kyligence Enterprise 进行了大量与 Tableau 的相关认证工作，Tableau 中的包含自有函数的语句等都已经可以在 Kyligence Enterprise 中完成解析并运行，免除了客户对两者集成性和兼容性的困扰。
为了更好地实现模型层的互通，Kylgience 支持将数据立方体（Cube）模型一键导出为 Tableau 数据源定义文件 TDS（Tableau Data Source）。Tableau 直接打开 TDS文件，Cube 中定义的维度，度量，层级结构，表关联关系都会自动同步到 Tableau中，方便 Tableau 用户无缝对接 Kyligence Enterprise 的大数据模型，减少重复性建模工作。
Kyligence 具备超高性能优势，表现稳定
Kyligence Enterprise 是一个海量数据下的多维分析解决方案，凭借预计算、智能优化等多项先进技术，其对大规模的数据汇总统计可达到亚秒级响应。同时，针对不同维度数量的 Cube，其查询性能能够保持稳定，充分提升大数据分析平台的查询性能和交互式查询的体验。
在某客户百亿级别的自助分析场景中，将原有平台迁移至 Kyligence 的方案后，通过 Tableau 自带的性能记录功能，我们能够很明显地看到 Kyligence Enterprise 的性能表现情况及其强大的性能优势，对比旧有方案分钟级甚至小时级别的响应表现，有数十倍以上的性能提升，且整体表现稳定：
查询性能的极致提升能为客户带来更好的用户体验，为业务发展和创新提供帮助。
关于 Kyligence
Kyligence （上海跬智信息技术有限公司）由首个来自中国的 Apache 软件基金会顶级开源项目 Apache Kylin 核心团队组建，是专注于大数据分析领域创新的数据科技公司。Kyligence 提供基于 Apache Kylin 的企业级智能大数据分析产品 Kyligence Enterprise及云计算产品 Kyligence Cloud。目前，Kyligence 已赢得了海内外多家保险、证券、电信、制造、零售、广告等行业的企业级客户，包括华为、中国联通、OPPO、上汽集团、太平洋保险集团、中国银联、国泰君安、欣和等行业领导者。公司总部在上海，同时，在北京、深圳等地设有办事机构, 在美国硅谷设有分公司，目前，已获得来自红点中国、思科、宽带资本、顺为资本及斯道资本（富达国际自有投资机构）等投资机构的多轮投资。
关于 Kyligence Enterprise
Kyligence 大数据智能分析平台（以下简称 Kyligence Enterprise）是基于 Apache Kylin 的企业级软件产品，在超大数据集上提供亚秒级分析的能力，同时为业务用户、分析师及工程师提供简便、快捷的大数据分析服务，拥有超高性能、免编程开发，多协议支持、非侵入式部署等突出优点，并且 Kyligence Enterprise 在企业用户所关注的应用场景丰富、实施效率、安全可控、存储效率、性能优化、自助式敏捷BI、系统监控等方面进行了全方位的完善和创新，是目前业界领先的大数据智能分析平台解决方案。
联系我们：[email protected]