StarRocks 存算分离技术探索活动回顾

2023 年 8 月 17 日,StarRocks 社区举办了云原生湖仓的第二期 Meetup --“StarRocks 存算分离技术探索” ,本场直播超过万人观看,热闹非凡。来自芒果TV、阿里云EMR 团队、火山引擎EMR 团队以及 StarRocks 社区的技术专家与大家共同探讨了 StarRocks 存算分离技术及应用实践等话题。

本文总结了技术交流活动的关键内容和视频资料,感谢社区每一位小伙伴的支持和参与,未来我们也会继续与大家分享更多优质的内容!

议题一:解锁数据分析新境界:探秘 StarRocks 存算分离

讲师:丁凯 StarRocks Active Contributor

2023年4月,StarRocks 3.0 版本正式推出存算分离架构,新架构极大地增强了系统的弹性扩展能力,并降低了计算与存储的总成本。能更好的解决存算一体架构面临的成本、弹性、资源隔离等挑战。
StarRocks 存算分离技术探索活动回顾_第1张图片

StarRocks 存算分离借助对象存储,可帮助用户节省高达 80% 的成本,并可实现秒级的弹性伸缩能力。通过优化的Cache技术,能够实现媲美存算一体的性能。另外,在存算分离结构中,StarRocks 实现全新的数据组织方式,实现了数据多版本能力,为未来实现Time Travel 等高级能力打下基础。通过 Global Compaction 可以支持未来将 Compaction 任务调度至专用集群,降低对业务的影响。 未来版本还将引入 Multi-warehouse 功能,通过不同的 Warehouse 承载不同的工作负载,实现资源硬隔离,让业务之间互不干扰。

目前,多家企业用户已成功将 StarRocks 的存算分离应用于电商订单分析、金融业务数据分析和制造业设备数据分析等场景,并取得了稳定的上线成果。

未来,StarRocks 存算分离将拥有:

  1. 更强大的能力:包括提升冷数据查询性能,FE存算分离,自动弹性等一系列重磅功能
  2. 更简便的使用体验:包括提升系统可观测性,降低用户性能调优成本以及更灵活的数据分享能力等
  3. 更完善的生态系统:将与其他引擎(如 Spark 等)实现更紧密的集成

议题二:StarRocks 在芒果TV的应用实践

讲师:黄立超 芒果TV 产品技术中心资深大数据研发工程师

在搭建极速统一的流批分析架构方面,芒果TV充分利用了 StarRocks 的卓越功能。通过精巧地融合流式和批量数据处理,他们成功地实现了高效的数据处理和分析,为用户提供了极速的分析能力。

目前,芒果TV 内部数据呈现如下特点:

  • 数据规模:每日新增数据达 200GB,新增数据条数达 40 亿条,历史数据总量已达 100TB。
  • 导入任务:涵盖超过 150 个同步表,10个 Routine load 任务,4000+ Broker load 任务 。
  • 查询请求:峰值查询 qps 超过 200 ,每日查询总数达 10 万次以上,平均查询耗时仅为 150 毫秒。

StarRocks 存算分离技术探索活动回顾_第2张图片

在存算一体的架构下,由于存储限制以及本地数据引发的扩缩容延迟问题,StarRocks 在芒果TV 的应用更多地作为数据服务的有益补充。通过充分利用 StarRocks 的特性,成功解决了一些特定场景下的查询加速和实时分析等难题。

引入存算分离架构后,芒果TV 不仅能够继续享受 StarRocks 强大的数据分析能力,还能因存算分离所带来的低成本和极强弹性能力而受益。未来,芒果TV 将全面引入 StarRocks,并借助存算分离架构的优势,保证性能的同时进一步增强弹性,降低成本。

议题三:火山引擎 EMR 在StarRocks成本优化上的思考

讲师:杜军令 火山引擎云原生开源大数据平台 EMR 技术专家

火山引擎EMR 目前已经集成的 StarRocks 存算一体版本面临多重挑战,包括运维复杂度高、容错性要求严格、灵活性不足以及综合成本较高等问题。

火山引擎EMR 基于 StarRocks 的存算分离版本,积极探索与实践,带来了以下显著优势:

  • 更低的成本:通过将数据存储与计算分开,计算与存储可以独立扩展,有效降低了成本
  • 更好的弹性:分离后的计算节点可以独立扩展,从而大幅提高了StarRocks数据库的扩展性,使其能够更好地应对不断增长的数据负载。
  • 更好的资源隔离:存储与计算分离使得用户可以一份数据多处计算,用户可以为每种业务分配独立的计算资源,之间互不干扰,但又共享数据,带来更好的资源隔离性
  • 提高可靠性:专用存储一般拥有更好的数据可靠性,这也有助于保障数据的安全性和稳定性。

目前,火山引擎EMR 基于 StarRocks 已经在旅游、在线教育和游戏等多个行业取得了广泛应用,证明了其在不同领域的可靠性和适用性。

未来,火山引擎EMR 将继续深化 StarRocks 的云原生化,实现读写分离,并充分利用 AI 技术进行自动优化,例如根据数据分布智能选择存储和计算资源。此外,引入数据热度分级存储的概念,将进一步降低冷数据存储成本。

议题四:阿里云 EMR Serverless StarRocks 云原生化探索与实践

讲师:王晓龙 阿里云技术专家

EMR Serverless StarRocks 是开源 StarRocks 在阿里云上的全托管服务,用户可通过 EMR Serverless StarRocks 灵活地创建和管理 StarRocks 集群以及数据。几个月前 StarRocks 3.0 版本正式推出了存算分离架构,EMR 团队也想要借力社区,基于 StarRocks 存算分离架构升级 Serverless 产品架构。

在过去的两个多月的时间里,EMR 团队同社区的同学紧密协作,对存算分离的整体能力做了仔细梳理与测试。经过多轮验证,StarRocks 3.1存算分离版本在阿里云环境下无论是稳定性、性能还是功能完备度,当前存算分离功能与存算一体已经基本对齐,例如:

  • 存算分离带 cache 导入性能与存算一体的单副本模式相当,甚至优于存算一体的3副本模式;
  • 高频导入 PK 模型测试场景中,存算分离相较于存算一体,性能差距仅为 10-20%;
  • 在带 cache 的情况下,存算分离的查询性能与存算一体版本持平。

综上所述,存算分离版本已达到了生产使用的水平。接下来,阿里云EMR Serverless 也将正式推出基于 3.1 版本的存算分离版实例。

未来,阿里云EMR 团队将继续与 StarRocks 社区紧密合作,不断演进 EMR Serverless StarRocks 的存算分离架构,持续在性能、稳定性等方向上深度优化,例如 PK 模型、Compaction、冷查等典型场景 ,同时提升易用性及可观测性。

更多精彩内容请查看演讲视频:https://www.bilibili.com/video/BV13N41167J8/

PPT 资料下载:https://forum.mirrorship.cn/t/topic/8359/2

StarRocks Feature Groups:

StarRocks 社区为了让用户在使用新 features 时能更加得心应手,设立了包含 “物化视图”、“湖仓分析”和“存算分离” 等的用户群,欢迎小伙伴们入群对特定 feature 进行深入交流!

下方扫码添加小助手,回复关键字存算分离/湖仓分析/物化视图 即可加入对应的用户小组!

StarRocks 存算分离技术探索活动回顾_第3张图片

本文由mdnice多平台发布

你可能感兴趣的:(后端)