华为云FusionInsight MRS在金融行业存算分离的实践

摘要：华为云FusionInsight MRS的大数据存算分离解决方案，实现资源价值最大化，存储与计算资源全面云化、灵活配置、弹性伸缩，降本增效。

在大数据、云计算、5G、AI等技术日新月异，数字经济加速发展的背景下，数据成为新的生产资料，数字化转型成为政企高速发展的关键。作为数字化转型的先行者，金融行业利用大数据平台进行客户体验提升、精准营销等业务。这些大数据平台在金融行业业务中发挥着至关重要的作用，但庞大的数据量也给他们带来了新的挑战，企业在大数据平台的建设及扩容方面每年均保持着一定规模的投入，降本增效的矛盾在发展过程中进一步被放大；海量数据驱动业务敏捷响应，传统大数据平台从建设到落地的长周期，不利于业务的高速发展；平台建成后，维护、升级、扩容均以集群为单位，管理离散，操作繁重。

传统大数据平台建设采用存算一体的架构建设，在进行扩容时计算、存储资源会同步扩充，在部分场景下造成了资源冗余，利用率偏低。基于此，中国工商银行（以下简称工行）联合华为云FusionInsight MRS落地大数据存算分离解决方案，实现资源价值最大化，存储与计算资源全面云化、灵活配置、弹性伸缩，降本增效。

存算分离实现成本降低60%

工行大数据平台批量业务普遍采用存算一体架构，原始数据、数据表、导出数据均存储在本地HDFS，在现网部分批量集群中，CPU利用率50%，而存储利用率超过70%。

工行采用了华为云FusionInsight MRS大数据存算分离方案，实现了大数据平台与OBS对象存储服务的对接，将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下，实现了计算与存储独立按需扩容，轻松应对业务浪涌，提升资源整体利用率。

大数据存算分离演进示意图

此次实践不仅实现了计算与存储资源的按需扩容，还在存储、计算和易用性方面做到了最优。

存储方面，工行原有大数据平台使用HDFS存储数据，1:3的备份方式使得较多存储空间被消耗，华为独有的Flex-EC技术可将副本率降低至1:1.25，存储资源优化提升2.4倍。在云存储性能上，单流性能达到300MB/s，为业界的3倍+。

计算方面，华为云基于存算分离的大数据解决方案进行软硬件垂直优化，充分利用自研处理器的高并发能力，提供芯片级的全栈自主优化能力，使用华为自研的操作系统EulerOS、华为JDK及数据加速层，充分释放硬件算力，为大数据计算提供高算力输出，实现高性价比。在性能相当情况下，端到端的大数据解决方案成本下降。

易用性方面，华为云OBS实现了原生POSIX语义，并补充了Append，hFlush/hSync、HDFS垃圾桶机制，rename原子操作性能，大幅领先业界同类产品。这些都使得用户可以平滑、无感知的从原有平台切换到存算分离平台。

集群快速发放，业务敏捷上线，运维省心省力

传统大数据平台的群部署，依赖 “硬件->操作系统->组网->大数据平台”的部署模式，部署周期以周粒度计算，并涉及多个业务部门协同操作。针对扩容、业务迁移和后期运维，也是“一集群一方案”的操作模式，工作量大，物料和人工成本都偏高。

工行联合华为云部署的存算分离大数据解决方案，全面兼容主流的大数据生态，100%兼容开源原生接口，结合周边丰富的数据及应用迁移工具，基于MRS WrapperFS的特性，提供OBS的翻译能力，兼容HDFS到OBS的平滑迁移，快速完成大数据平台的平滑迁移至存算分离架构，整个迁移过程做到“代码0修改，业务0中断”。

云端集群快速发放特性，可以实现小时级集群发放，提升效率数10倍，同时具备后台、前台和API接口三种任务提交模式，快速对接业务。针对后期扩容、运维场景，通过统一的运维管理平台， 对多个大数据集群进行集中运维管理，并能够实现资源的弹性伸缩和灵活扩容。

总结：

中国工商银行大数据平台全面构建在IaaS云之上，本次华为与工行联合创新借助新一代华为云底座进行存算分离架构试点工作，全面验证了全新架构下的产品功能、技术水平和性能状况，全方位评估存算分离架构的优缺点，总结经验，积累技术实力，为后续工行大数据平台演进至下一代“存算分离”与“存算一体”协同混合架构打下坚实基础，并为金融业大数据平台架构转型提供成熟解决方案。

本次存算分离实践顺利实施标志着工行首次完成大数据体系由存算一体架构向“存算分离”与“存算一体”协同混合架构的转型工作，全新的架构具有性能与成本最优，兼具灵活性、云化集约管维的特点，能够有效地支撑中国银行业智慧化转型，同时为全国金融同业大数据平台架构转型实施提供参考。

本文分享自华为云社区《华为云FusionInsight MRS在金融行业存算分离的实践》，原文作者：Sailing27 。

 

点击关注，第一时间了解华为云新鲜技术~