破解双中台困局:万家数科 x StarRocks 数字化技术实践

华润万家是世界 500 强企业华润集团旗下优秀零售连锁企业,也是中国最具规模的零售连锁企业。万家数科商业数据有限公司(以下简称“万家数科”)是华润万家 100% 控股的信息科技公司,在服务华润万家的同时,为零售商及其生态提供核心业务系统的整体解决方案与运维服务。

2019 年,万家数科自主研发了聚合支付平台——Vapay,作为腾讯、阿里的独立软件服务商(ISV)为零售商提供聚合支付服务,开启市场化之路。2021 年自主研发了供应商数据服务平台——数据罗盘,为零供协同赋能。

#01

万家数科聚焦在零售行业的“业财一体”数智化技术创新实践

如何把零售行业的业务流程、财务会计流程、管理流程有机融合,使财务数据和业务数据融为一体。实现最大限度地在企业内部实现数据共享,实时控制经济业务,实现信息化管理、降低成本,为企业赢得更多商机和利润。

在技术层面上,万家数科积极创新,通过建设业内首创的微服务架构 “规则中心”、“单据中心” ,重塑财务规则,为业财一体化奠定关键基础。通过业务中台、数据中台双轮驱动,为业务赋能。

#02

双中台下的数据查询困局

原构建的数据流程图如下:

破解双中台困局:万家数科 x StarRocks 数字化技术实践_第1张图片

  1. Apache Hive(以下简称 Hive)中的数据存量已有上百 TB,供应商的 API 接口调用都需要数仓开发工程师从 Hive 中跑批捞数据,开发工作量繁重、效率低、运维成本指数级增长;
  2. MySQL 缓存库是 Hive 离线 T+1 计算好的结果数据,所有 API 接口调用均面向这个缓存库,未来还会面向外部合作供应商如京东、美团,经常出现 API 接口调用超时;
  3. 对于前端业务系统直接产生的单据明细数据,为了提升采购协同效率,针对市场变化快速反应、降低库存成本,从下单、审批到订单采购、配送、单据结算的整个过程供应商希望看到实时的数据更新,对于部分高流量的业务查询,即使做了分库分表处理,存量数据也达到了千万级, MySQL 难以支撑,响应时间无法达到预期。另外,海量数据压缩率过低,也增加了平台成本。
  4. 基于微服务模式下的 API 数据接口组合模式,在查询某个供应商的应付款余额等少量数据查询请求时还可以应付。对于批量查询,比如,查询所有冻结状态的供应商应付款余额,就比较复杂了。需要先根据冻结状态,通过供应商 API 接口找出所有冻结的供应商编码,再利用这些编码到应付款余额 API 中查询。前端还需要通过程序代码进行查询结果的拼接。API 接口服务的不稳定,经常会出现数据查询超时,API 组合模式检索分散在多个服务中的数据也导致存在昂贵、低效的内存数据拼接。

#03

寻找解决问题的银弹

我们决心用一个超强的数据底座,实现即席数据查询,打造实时数仓。

在数据底座的产品选型上,我们对比了ClickHouse、TiDB、StarRocks:

  • ClickHouse:在单表查询上有比较好的查询性能,但我们的业务场景涉及较多的多表 Join,所以 ClickHouse 并不能很好满足我们的需求;
  • TiDB:相比 ClickHouse 和 StarRocks,更适合 TP 类的业务场景,在 AP 场景下的查询性能相对弱一些;
  • StarRocks:已实现全面向量化,支持高并发查询、复杂 SQL 查询。在单表和多表关联查询性能都表现比较好,数据可以灵活建模,支持标准的 MySQL 协议。作为新一代极速统一的 MPP 数据库,StarRocks 有稳定的国内技术团队提供本地化支持服务,方便进行集群扩缩容,运维成本相对低。

经过综合审慎的评估,我们选择 StarRocks 来进行我们的数据底座的搭建。

#04

最佳的解决方案:StarRocks

新方案下的数据流程图:

破解双中台困局:万家数科 x StarRocks 数字化技术实践_第2张图片

作为数据底座,StarRocks 汇集前端业务产生的各类过程及结果业务单据,确保业财数据一体,财管结果的一致性,同时也释放核算系统压力,提升核算运行效率。也为后续进一步解耦 ERP 形成一套自有产权的零售产业核心 ERP 奠定基础。

目前生产集群将近四百个 CPU 核心,四千 GB 内存,已开发上线近百张报表,解决了之前以 MySQL 作为查询缓存库出现的查询时间长、API 接口调用超时的问题:

  1. 已经服务于超过 3000 家门店进行财务结算和对账等,比如月初/月末查看供应商付款与欠款情况,以及每天早上门店实时查看不同供应商的销量情况。
  2. 查询 QPS 在近千级别,可做到秒级延迟。

#05

展望未来

StarRocks 工具在“业财一体化”技术方案实施落地的过程中,无论产品力还是服务能力,都带给了我们很高的信心。因此后续解决方案升级中,计划将相关业务的技术方案逐步迁移到 StarRocks,实现 OLAP 层统一。

另一方面也将继续探索 StarRocks 新 feature 在创新数字化转型的典型数据分析场景中应用。

万家数科将持续广纳新技术,在数据应用领域持续发力,打造零售行业的数字化标杆。

关于 StarRocks

StarRocks 创立两年多来,一直专注打造世界顶级的新一代极速全场景 MPP 数据库,帮助企业建立“极速统一”的数据分析新范式,助力企业全面数字化经营。

当前已经帮助腾讯、携程、顺丰、Airbnb 、滴滴、京东、众安保险等超过 110 家大型用户构建了全新的数据分析能力,生产环境中稳定运行的 StarRocks 服务器数目达数千台。 

2021 年 9 月,StarRocks 源代码开放,在 Github 上的星数已超过 3100 个。StarRocks 的全球社区飞速成长,至今已有超百位贡献者,社群用户突破 5000 人,吸引几十家国内外行业头部企业参与共建。

破解双中台困局:万家数科 x StarRocks 数字化技术实践_第3张图片

你可能感兴趣的:(数据库)