大数据MapReduce是什么

大数据是我们生活中非常常见的一个应用，大数据本身也已经渗透到了我们生活中的方方面面。那么华为云的大数据的核心优势在哪？有哪些我们还不知道的科技在这当中呢？下面我将给大家介绍华为云大数据的重点：MapReduce服务 MRS。

MapReduce服务 MRS是什么呢？

云原生数据湖MRS（MapReduce Service）为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生 态的高性能大数据组件，支持数据湖、数据仓库、BI、AI融合等能力。MRS同时支持混合云和公有云两种形态：混合云 版本，一个架构实现离线、实时、逻辑三种数据湖，以云原生架构助力客户智能升级；公有云版本，协助客户快速构建 低成本、灵活开放、安全可靠的一站式大数据平台。

知道了云原生数据湖MRS那就不得不讲一讲这个系统的优势在哪。

1. 存算分离架构 计算和存储分离，统一数据湖， 消除数据孤岛，一份数据，无需 多次拷贝，多种计算引擎，存储 和计算资源灵活配比，各自按需 扩缩，性价比领先业界30% 。
2. 极致性能体验 通过结合硬件、数据组织、计算 引擎、AI智能调优四级垂直优化，全栈式性能加速，同时具备 百万规模元数据毫秒级响应，为用户提供极致性能体验
3. 领先开源技术 主流引擎Spark、Hive、Flink等 深度改造，拥有索引、缓存、元 数据等关键技术；自研 CarbonData毫秒级点查， Superior调度突破单集群20000 节点+ 。
4. 高安全高可用支持单集群跨AZ高可用，无单 点故障，滚动补丁/升级，任务 断链重连，业务0中断；具备网 络资源隔离、账号安全、数据安 全管控等多级安全保障能力。

MapReduce服务与自建Hadoop集群对比

我们知道了MapReduce服务的优势所在，又明白了他相比于我们自建Hadoop集群优势大的多，那么有多少企业在使用我们华为云的MapReduce服务呢？

美图公司。

 美图公司是中国领先的影像处理及社交平台，在全球拥有20.8亿用户，月均活跃用户超过2.95亿，每月因美而生超过60亿照片和视频。通过与华为云合作，改造后的美图核心业务访问时 延低至1s，运维效率提升约70%。

那么美图在进行业务拓展晋升的时候遇到的挑战是什么呢？

数据库服务稳定可靠性不足 美图数据库架构大多一主多从，主从库均依赖 DNS域名做负载均衡，容易出现热点问题、 负载不均等稳定性问题；无法完全自动化全量 备份和恢复，无法增量同步和限速，满足不了 业务多样化的场景。

大数据集群资源利用率低 随着数据量不断增大，大数据占比接近一半， 且计算资源和存储资源绑定，无法根据计算和存储的不同增长情况分别动态扩容。数据多份 拷贝，存储浪费，网络传输频繁。

运维工作量大成本高 美图的DBA人均维护数据库和实例多达 100+，人力严重不足，大量数据库日常运维 工作挤满DBA时间。采用的开源Hadoop自建 大数据平台，开源Bug和性能问题处理、集群 扩容等场景，均需要投入大量运维成

那么华为云是怎么解决的呢？

云原生助力美图7大业务模块平滑上云 基于对业务高性能的迫切需求，美图公司与华为启动战略合作， 首先将业务底座升级为云原生基础设施，实现性能、弹性伸缩能 力的极大提升，并通过云数据库+存算分离大数据的专属组合解 决方案，将7大业务模块平滑顺利迁移至华为公有云，实现了数 据库&大数据性能的极大提升和稳定运行 云数据库多项能力协同，提供多种容灾方式 基于华为云提供的关系型数据库服务读写分离、分布式高可用等 能力，分发请求压力，负载均衡，增强数据库稳定性和可靠性。 日常运维工作均通过数据库管控系统自动化平台完成，极大解放 了美图DBA繁重运维压力，对数据迁移、同步、订阅、灾备四 种场景做了适配，满足美图多方面业务需求，为数据安全保驾护 航 存算分离支撑大数据平台全面上云 华为云BigData Pro存算分离大数据解决方案，帮助美图实现AI 和大数据共云原生基础设施，计算和存储资源完全解耦，独立灵 活扩容；MRS大数据服务采用高性价比多核算力，100%兼容开 源生态，原有业务平滑上云，整体迁移“代码0修改，业务0中 断”；OBS多协议数据湖底座统一存储，一份数据自由流动，避 免重复拷贝。

本文由博客群发一文多发等运营工具平台 OpenWrite 发布