东湖行 | 优云数智UMStor展示PB级数据湖存储方案实力

在近日举行的2018全球闪存技术峰会上，优云数智携旗下具有“CBA”气息的存储系统——UMStor来到武汉东湖之滨的光谷科技会展中心，向参会者展示PB级数据湖存储方案实力。

数据流冲击日益凸显

100多年前，“千湖之地”武汉湖泊星罗棋布，沙湖、东湖、白洋湖相通，因无人建防水堤，每每水患，所望及尽泽国。光绪二十五年，湖广总督张之洞在长江与东湖之间修建了南北两段堤防——武金堤和武青堤，至此东湖与沙湖分离，基于坚固地质，面积经几十年不变，定于33平方公里，遂成今东湖。

探究东湖发展，人为分治起到很大作用。然而，今天人们开始承受另一种“水患之痛”，那就是高速发展的IoT使大数据面临PB级海量数据存储以及上千QPS级并发请求，大数据流正疯狂冲击着企业。

面对全业务数字化转型大势，传统企业数据中心的数据存储级别由原先数十TB向今天动辄PB级的数据存储量级转化。与此同时，围绕企业多类型业务需求，如何解决海量大数据并发承载，如何结合AI对存储大数据挖掘，并同步通过多协议访问高效对外分享等一系列问题，就需建立统一的数据平台化运营机制。

在数字化转型的挑战面前，各种新型技术渗透业务模式和流程，推动传统企业数据存储变革。UMStor不仅协助企业大数据上云端，支持大数据加速，还为人工智能提供快速处理数据接口。

至此，优云数智UMStor已拥有诸多数十PB级的统一分布存储、大数据湖实际案例落地。

image

PB级数据湖存储方案

数据湖的核心关键依然在于数字化转型，包含大数据存储、处理、共享等数据平台化运营机制。优云数智UMStor多协议分布式存储系统在诸多实际案例落地过程中，演化出一种新的大数据存储架构——数据湖存储架构。

image

（图：UMStor PB级数据湖存储方案示例）

结合其他软件应用服务启示，优云数智UMStor通过将计算存储环境分离，采用Hadapter直接特定函数调用，完成数据访问，避免增加网关IO访问瓶颈，在保证大数据环境下的存储访问性能同时，打破环境分离带来的数据调度壁垒。

UMStor协助企业存储数据上云端

传统大数据的物理机部署模式在应对当下企业多业务弹性计算资源需求，以及现有存储容量扩容增长相差较大的情况下，计算、存储两者一体部署已无法满足灵活业务需求，同时也并非是最优性价比方案。而将存储数据与计算分离，独立上云端，实现两者各自独立扩展，正是当下数据存储的趋势。

UMStor作为企业数据上云端方案，是真正的软件定义存储系统（SDS），采用领先的全分布式全冗余架构，没有单点故障，具有高弹性和高可靠性，性能和容量可以横向扩展。UMStor可以灵活进行软件配置与硬件选型，协助企业自定义存储系统的性能、容量、数据保护能力等，在基础资源利用最大化的同时，也降低基础成本投入，满足企业当前和未来数据存储战略需求。

UMStor助力企业大数据加速

伴随数字化发展，传统数据存储部分问题日益突出。例如，传统存储数据的存取路径须通过对象服务的网关，再由网关服务把IO请求递交给底层的对象存储设备，这就会导致一系列问题，不仅网关增加了IO访问路径的开销，而且该网关比较容易成为系统的性能瓶颈。

image

（图：Hadapter运行机制）

通过NFS-Ganesha软件支持多种后台存储系统中Ceph对象存储服务的启示，优云数智打造了一款基于自身存储系统的Hadoop插件——Hadapter。UMStor通过将计算存储环境分离，采用Hadapter直接调用librados函数库来请求OSD的方式，避开了数据存取对网关的请求，在保证大数据环境下存储访问性能的同时，打破环境分离带来的数据调度壁垒。

此外，围绕大数据应用对接，UMStor不仅提供标准S3和Swift对象存储接口，用于存储图片、文件、视频等非结构化数据，而且还提供HDFS接口，大数据应用Hadoop、Spark、Hive、HBase可以直接与存储服务器进行通信，不需要经过存储网关和元数据服务器，具有很强的横向扩展能力和吞吐能力。

UMStor推动人工智能AI大数据挖掘

大数据时代，人工智能同步飞速发展。智能算法的训练与推理需要对超大数据集进行处理与分析，而这些数据涵盖视频、图片、文本等非结构化数据。要对来源不同行业、组织、部门、项目的数据进行采集、存储、清洗、转换、特征提取等工作，无疑是一项复杂、漫长的工程。

UMStor不仅可向人工智能程序提供数据快速收集、处理、分析平台，还具备提供高速

带宽、海量小文件存取、多协议互通、数据共享的能力，从而大大加速了数据挖掘、深度学习的过程。

曾经水患肆虐的东湖，如今已成为武汉存储产业高科技发展中心，未来将影响着中国，乃至世界科技产业的发展方向。UMStor作为优云数智推出的具“CBA”气息的存储系统，也将为传统企业的数字化转型提供便捷、稳定的数据云端存储解决方案。