云原生实时数仓首次在2020双11核心数据场景落地

简介： 这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。

这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。

背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

2020双11的交易中，阿里云大数据平台完成云原生史上最大规模的大数据算力和实时处理能力。MaxCompute 批处理单日计算数据量达1.7EB，相当于为全球77亿人每人存储230张1080P高清照片；实时计算Flink峰值40亿条／秒，约合7TB／秒，相当于一秒处理500万本新华字典的信息量；MaxCompute 交互式分析（下称Hologres）峰值实时写入5.96亿条记录／秒。

此外，云原生实时数仓首次在2020双11核心数据场景落地。Flink+Hologres实现商业全链路实时化，毫秒级海量数据处理能力，为商家和消费者带来了更加智能的消费体验。菜鸟提升物流包裹流转效率，整体数据链路从小时级同步直接优化到3分钟；饿了么提升单个商圈的获客效率，商圈Leads密度提升50%以上；CCO客服作息智能调配业务接入应用效率提升，平均等待时间降低；供应链平台供应商入驻效率提升，平均耗时下降78%，驳回率下降55%……

MaxCompute 是面向分析的安全可靠的大数据计算服务，它以Serverless架构提供快速、全托管的在线数仓服务，是阿里经济体数据中台的计算核心和阿里云大数据的基础服务。MaxCompute基于动态资源弹性和统一调度能力，支持阿里经济体混部，并从物理机和神龙实例升级到安全容器，拥抱云原生和统一调度的整体能力。

MaxCompute 5年来持续刷新TPCx-BigBench世界记录，今年10月 TPC 官网最新发布 100TB规模达到26000+QPM。

Flink从2015年承载搜索和推荐实时化开始，已经覆盖阿里经济体绝大多数实时计算需求，拥有全球领先的实时计算规模。在流批一体的设计理念下，Flink自研了全新的流批SQL统一处理框架、智能优化服务Autopilot和新一代状态存储Gemini，大大提升用户的业务开发和支持效率。在阿里的海量场景打磨之下，Flink开源社区已连续两年荣膺Apache开源软件基金会最活跃项目的称号。

Hologres是自研的分布式实时数据仓库引擎，历经多次双11技术历练。它支持PB级数据交互式分析场景，面向高吞吐写入高度优化，支持数据实时写入、实时更新、实时查询的全链路实时化能力，在一个引擎中同时支持了复杂多维分析和高性能服务查询两个场景，是分析服务一体化的最佳行业实践。Hologres技术创新发表在数据库界全球顶级学术会议VLDB 2020。

据称，阿里云大数据平台不仅稳定支撑阿里经济体的数据计算业务，经过双11大规模场景验证之后，更是云上客户大数据平台的重要组成部分，涵盖互联网、金融、交通、IOT、新零售等领域的龙头企业。点此查看更多

 

原文链接
本文为阿里云原创内容，未经允许不得转载。