Hologres 助力飞猪双11实时数据大屏秒级响应

摘要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。借此之际，我们将陆续推出云原生实时数仓双11实战系列内容，本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景，并助力飞猪双11实时数据大屏3秒起跳，全程0故障。

今年双十一较以往最大的变化就是活动的整体节奏从原来“单节”调整为今年的“双节”，自然地形成两波流量高峰，大屏和营销数据的统计周期变长，指标维度变得更多，同时集团GMV媒体大屏首次直接复用飞猪大屏链路数据，所以如何保障集团GMV媒体大屏、飞猪数据大屏以及双十一整体数据的实时、准确、稳定是一个比较大的挑战。

本次双十一飞猪实时大屏零点3秒起跳，全程0故障，顺利护航阿里巴巴集团媒体大屏，做到了指标精确、服务稳定、反馈实时。
而这一切都离不开大屏背后实时数据全链路的技术升级和保障。飞猪实时数据整体架构如下图所示：

下面将会介绍，为了实现快、准、稳的双11实时数据大屏，业务针对实时数据全链路做了哪些升级改进和优化。

一、公共层加固，抵御洪峰流量

抵御双十一流量洪峰，首先发力的是实时数据公共层。经过近两年的迭代完善，多端、多源的实时数据公共层已经实现了日志、交易、营销互动、服务域的全域覆盖，作业吞吐和资源效率也在不断的提升，本次双十一为了平稳通过流量双峰，对其进行了多轮的全链路的压测和进一步的夯实加固：

1）维表迁移，分散热点依赖

维表是实时公共层的核心逻辑和物理依赖，热点维表在大促时可能就是服务的风险点和瓶颈。飞猪商品表是各类实时作业依赖最多的Hbase维表，其中包括大促时流量暴涨的飞猪淘宝端流量公共层作业。去年通过对淘系PV流量提取的深度逻辑优化，将该维表的日常QPS由几十w降低到了几w，但随着后续点击公共层以及其他业务作业的不断新增依赖，日常QPS很快升到了5w+，大促压测时一路飙升到十多w，且维表所在的Hbase集群比较老旧且为公共集群，大促