腾讯大数据 x StarRocks｜构建新一代实时湖仓

2023 年 9 月 26 日，腾讯大数据团队与 StarRocks 社区携手举办了一场名为“构建新一代实时湖仓”的盛大活动。活动聚集了来自腾讯大数据、腾讯视频、腾讯游戏、同程旅行以及 StarRocks 社区的技术专家，共同深入探讨了湖仓一体技术以及其应用实践等多个备受瞩目的话题，观看人数两万+。

大数据未来发展趋势和方向是许多开发者都关心的议题。活动一开场，腾讯大数据产研负责人陈鹏以及镜舟科技 CTO 张友东以业界专家的视角进行了一场精彩的技术对谈。他们就当前大数据技术热点、湖仓技术发展以及未来湖仓一体技术的发展趋势表达了未来大数据将朝着“one data, all analytics”的方向发展。

腾讯作为国内领先的互联网企业，在湖仓一体方面有丰富的实践经验。通过尝试与摸索，腾讯大数据基于 StarRocks拓展和升级湖仓一体化的架构，为业务提供高性能、一站式的解决方案。在活动中，腾讯的大数据团队分享了他们在湖仓一体方面的先进经验，包括如何搭建湖仓融合架构，湖仓分析在腾讯视频业务场景中的应用以及腾讯游戏如何从Lambda 架构逐步演进至湖仓一体架构的技术进程。其中存算分离和数据冷热分层方面的最佳实践也给其他开发带来了极具价值的借鉴意义。

与此同时，同程旅行的周涛老师应邀介绍了同程旅行是如何通过引入 StarRocks 成功解决用户画像中的问题，提升查询效率并高效实现复杂查询。 本文将汇总此次技术交流活动的重要内容和视频资料，同时由衷感谢社区中的每一位小伙伴对此次活动的支持和积极参与。未来，我们将持续与大家分享更多高质量的技术内容！

技术对谈：开源开放与下一代湖仓

陈鹏 腾讯大数据产研负责人/腾讯大数据技术委员会执行委员

张友东 镜舟科技 CTO/StarRocks 技术指导委员会成员

在本次分享中，两位专家深入探讨了当前大数据技术的焦点议题，湖仓技术的发展历程，以及 StarRocks 和腾讯在湖仓一体化方面的演进历程。他们还谈到了未来湖仓一体技术的趋势。

陈鹏认为大数据技术的发展应该是一个逐步精炼的过程，大数据体系需要变得更加精细化，以使业务应用变得更容易。这需要在数据链路和大数据架构的共同作用下实现，而不仅仅依赖一两个技术点。因此，腾讯大数据正在朝着一体化的方向发展，这一体系包括4个横向和3个纵向的维度。4个横向是指软硬一体、资源一体、存储缓存一体和计算一体，这有助于构建更简单和优雅的数据架构。3个纵向是指通过实时湖仓、虚拟引擎和智能平台来实现大数据的全面自适应和自动化。

张友东认为目前数据量经历了爆发式增长，而大数据体系主要解决的问题是如何从海量数据中挖掘有价值的信息。在这一背景下，StarRocks 在朝着湖仓一体化方向演进的过程中，实现了一份数据支持所有分析场景，从而极大简化了数据分析的流程。这也与腾讯大数据的演进路线相一致。

总的来说，未来湖仓的发展趋势将趋向于数据库化，简化流程，实现一体化，从而推动智能化应用的发展。

技术对谈：开源开放与下一代湖仓

腾讯天穹一站式湖仓融合平台架构揭秘

陈九天 腾讯大数据高级工程师/StarRocks Active Contributor

本次分享九天首先探讨了目前业内在湖仓融合场景下遇到的问题：湖仓数据如何自由流转、湖仓数据如何做到融合查询、如何优化湖仓建模链路等，同时介绍了天穹 StarRocks 湖仓融合架构是如何解决以上问题，并大规模落地腾讯内部业务的。该架构在兼顾查询性能与存储成本的情况下，大大简化了用户的湖仓建模链路。

腾讯天穹一站式湖仓融合平台架构揭秘

同程旅行如何基于 StarRocks 实现用户画像分析

周涛 同程旅行数据中台负责人

2022年，同程旅行引入了 StarRocks，用于统一 OLAP 组件，并在公司内部广泛应用。目前，已成功应用于住宿、出行以及其他领域，包括BI看板、数据分析、指标系统、风险控制、反爬、用户营销和实时数据仓库等各业务领域。

本次分享重点介绍了 StarRocks 在同程旅行中的用户画像和 CDP（Customer Data Platform）应用实践。引入StarRocks 前，用户画像分析存在问题，如标签导入资源消耗大、导入操作影响查询性能、仅支持宽表查询，无法处理复杂关联和聚合查询。引入 StarRocks后，同程旅行优化了数据导入功能，显著提高了复杂查询速度，实现了明细表和位图表的高效关联，更好支持 CDP 人群分析和导出营销等关键功能。

同程旅行如何基于 StarRocks 实现用户画像分析

StarRocks 在腾讯视频的应用实践

赵轩 腾讯视频 数据工程中心 大数据开发高级工程师

本次主要向大家介绍了腾讯视频使用StarRocks在湖仓分析场景的上的应用实践，以及腾讯视频数据架构的演进历程。通过描述湖仓分析场景遇到的查询效率、湖仓分层模型构建等方面问题，分享了StarRocks基于Iceberg进行湖上分析的解决方案。此外，还介绍了StarRocks湖仓架构下分层模型建设方式以及数据冷热分离的存储方式；同时在应用实践上介绍了使用StarRocks构建指标服务，通过 Bitmap、聚合引擎、逻辑视图、指标加速等方式助力个性化数据分析，构建高效、易用、简单的湖仓架构以提升数据价值。

StarRocks 在腾讯视频的应用实践

腾讯游戏基于 StarRocks 的湖仓一体探索

黄奕文 腾讯游戏数据分析引擎研发工程师/StarRocks Active Contributor

本次分享奕文主要介绍了腾讯游戏从原有Lambda架构，基于StarRocks的数仓架构，基于StarRocks的湖仓一体架构的演进技术路线。围绕存算分离，数据冷热分层，湖仓一体体验优化等方面进行了重点建设；同时在落地实践阶段，针对异步物化视图，查询性能优化，离线导入性能进行了深入的打磨，从而实现兼顾性能和成本的易用湖仓一体化架构。

腾讯游戏基于 StarRocks 的湖仓一体探索

本文由 mdnice 多平台发布