HAP：多流动态实时分析系统 [session]

---

Strata Data Conference北京站大会还有一个月即将召开，

有需求的同学还请抓紧时间，

点击二维码即可登录会议官网报名。

---

HAP：多流动态实时分析系统

讲师：Liye Zhang (新智新氦科技)

11:15–11:55 Friday, 2017-07-14

企业应用 (Enterprise adoption)

地点： 多功能厅6A+B（Function Room 6A+B)

观众水平 (Level): 中级

必要预备知识

参加者需要对Docker，Kubernetes，OLAP有基本概念和了解，并对分布式系统、流处理有相关经验。

您将学到什么

能够大体上了解流式处理，并且能够学习到多流碰撞及动态实时分析系统的整个架构实现。

描述

批处理的计算框架诸如Hadoop和spark在处理海量数据时比较高效，但是如果使用它们来做流式处理的时候显得过于笨重，较高的延时对于某些流式应用是不可接受的。虽然对于流式应用我们可以选择Flink、Spark Streaming、Heron等这些处理框架，但是这些框架只能够支持受限的多流的碰撞处理。一般情况下，企业会使用Lambda架构来实现流式的分析，这个过程需要开发者针对特定的业务去开发相应的代码，开发成本相对较高。另一方面，对于当前一些主流的OLAP系统，虽然可以提供较好的分析能力，但对于流式的输入甚至对于多流的预处理会显得无能为力。

在本会话里，我们会介绍HAP，一个多流动态实时分析系统。HAP是一个实时分析系统，能够支持流式的输入，并且可以支持多流的碰撞，同时，可以根据查询层来动态的改变底层的流式处理方式以实现不同业务需求。我们可以看到HAP在Kubernetes上可以实现水平扩展、高可用、高效、高速，并在保证数据exactly once语义的情况下实现秒级的数据分析和查询。

---

讲师介绍：

Liye Zhang (新智新氦科技)

张李晔是新氦科技大数据架构师，目前主要专注于基于容器的流处理和实时分析平台的搭建和开发。新氦科技是新智集团下属，上海的一家大数据基础架构公司。在加入新氦科技之前张李晔在英特尔亚太研发有限公司担任大数据软件工程师，曾从事Spark和Hive的相关的代码开发、性能调优等工作。