Kyligence Cloud 对接阿里云LogHub，实现云上准实时大数据分析一站式解决方案

前言

大数据时代，越来越多的企业开始寻求可进行实时数据分析的可交互方案，涉及新软件的引入、数据流的改进等场景。Kyligence Cloud基于上述场景实现了无缝对接阿里云Loghub，有效整合实时数据与历史数据，为云上准实时大数据分析提供一站式解决方案。

关于LogHub

LogHub 是阿里云日志服务下的一个实时数据采集和消费服务。通过ECS、容器、移动端，开源软件，JS等接入实时日志数据（例如Metric、Event、BinLog、TextLog、Click等），以及提供实时消费接口，与实时计算及服务对接。此外还提供包括数据清洗（ETL），流计算（Stream Compute），监控与报警，机器学习与迭代计算的功能。LogHub 对比同类型的Apache Kafka具有使用成本低，稳定性高，安全性强等优势，已经广泛应用于阿里巴巴集团以及很多客户的大数据场景。

关于Kyligence Cloud

Kyligence Cloud是Kyligence公司基于云端的大数据分析服务，以Apache Kylin企业版（Kyligence Enterprise）为核心，为大数据分析平滑上云提供托管式解决方案。使用 Kyligence Cloud，您可以在公有云上快速建立大数据分析集群，实现对海量数据的交互式OLAP分析和高并发查询应用。

目前，Kyligence Cloud 在支持阿里云平台自动化部署大数据分析集群的基础上，实现了无缝对接 LogHub。在全图形界面下，您可以快速完成数据源绑定、事实表解析、数据采集、数据建模等步骤，实现对LogHub日志流数据的近实时处理。

现在只需4个步骤，就可轻松实现云上准实时大数据分析！

前期准备：

申请 Kyligence Cloud 试用并选择阿里云平台，一键申请>>

使用 Kyligence Cloud上在阿里云上成功部署大数据分析集群，详细步骤请参阅：Kyligence Cloud用户手册

配置对接LogHub数据源并进行后续建模分析

绑定数据源

在集群部署成功后，点击Kyligence Cloud左侧导航栏中的数据源并选择 LogHub ，填写相关参数后点击测试连接，成功后即可完成数据源连接。

选择LogHub数据源

 事实表解析

连接LogHub数据源后即可开始对LogHub构建表结构，LogHub日志服务大部分都是以CSV格式进行记录。在构建表结构时，CSV格式的流式数据没有所对应的列名、列类型。在 Kyligence Cloud 中构建LogHub表结构时以用户熟悉的表结构页面呈现，用户只需在每行列值前补充对应的列名，并选择该列值类型即可完成将LogHub日志流定义为事实表。

Kyligence Cloud解析LogHub表结构

 

建模分析

Kyligence Cloud大数据分析引擎以Apache Kylin企业版为核心，基于成熟的OLAP建模理论，结合创新的自动建模技术，实现海量数据分析的高效查询加速，实现高并发的分析应用。您可以基于数据手工进行多维建模，也可以基于业务查询SQL让系统自动建模，高效实现大数据分析应用。

Kyligence Enterprise多维模型截图

点击查看完整视频

总结：

通过与阿里云LogHub无缝整合，Kyligence Cloud有效整合实时数据与历史数据处理，将数据分析变成更加实时的可交互方案，同时大大降低了使用和分析门槛，为用户提供准实时大数据分析一站式解决方案。