一、数据量增长下传统存储难以满足企业业务需求
移动互联网、物联网、云计算等技术发展使数据量呈现爆炸式增长,2021年,约 60%的全球 2000 强企业将把数字化转型作为公司战略的核心,具备数字化转型战略的企业将不断扩大其外部数据来源,企业产生的数据将以百倍成长;届时全球数据量将会达到 45ZB,而中国产生的数据量将会超 8ZB,占全球数据量约五分之一。中国企业将面临海量数据的存放、管理、优化和利用等挑战。
企业业务需求的迅速变化对存储中心的响应速度提出了更高要求,传统存储下存储管理员从收到请求到准备并实施变更需要至少一周以上,无法满足业务快速部署要求,远不及云的按需供应效率,软件定义存储产品将替代部分传统存储产品以满足企业及时性、灵活性的存储需求。
软件定义存储通过提供应用程序编程接口(API)管理、部署和维护存储资源,实现存储资源在云、数据中心和应用程序中的调用并实现策略驱动的资源管理模式。针对海量数据存储,企业可根据业务需要,通过软件定义存储的超融合架构以增加模块的方式增加计算能力或存储能力,支持大量并发的计算或存储需求。
传统存储过于依赖设备,需根据设备性能(如扩容能力)响应需求,而软件定义存储可按需求进行动态配置实现存储与应用更紧密的联系,提供更高的敏捷性,以策略管理驱动的高级功能匹配企业业务需求,用户管理数据请求直接传达至自动化软件,软件直接对应请求分配存储资源,无需人工干预。
二、软件定义存储较传统存储具有优势
传统存储中“存储-服务器-网络安全设备”三层堆栈部署复杂,需对多层软硬件结构进行组装和调试:①向网络设备厂商采购 ToR(Top of Rack,架顶式)交换机;②向服务器硬件厂商采购服务器;③向存储厂商采购存储设备;④FC(Fibre Channel,光纤通道)存储还需在服务器上部署专门的 HBA(Host Bus Adapter,主机总线适配器)卡提升访问性能;⑤使用虚拟机监视器(Hypervisor)软件管理平台实现虚拟机与业务系统的部署。
传统存储复杂的 IT 建设模式下设备种类和供应商数量繁多,用户在搭建基础设施上需耗费大量时间精力;且不同设备的存储资源形成异构孤岛,数据无法流通;统一的集中化 IT 构建策略缺失,难以对数据中心内的基础设施进行统一的监控、管理、报告和远程访问,后期维护技术门槛高。
传统存储根据机头控制器的能力分为高中低三档存储(低端存储通常支持 200 块硬盘左右的扩展能力,中端存储通常支持 1,000 块硬盘左右扩展能力,高端存储通常支持 5,000块硬盘左右扩展能力),传统存储扩展性有限,低端存储无法升级为中高端存储,无法随着计算资源增加而自由地横向扩展。
客户在初期业务量较小时购买中低端存储,业务量增加后,中低端存储性能和容量无法满足客户需求,需增加新的中低端存储,如此反复造成多存储平台间的割裂,资源利用率低,管理复杂,无法满足上层业务对易用性和敏捷性的需求。若客户在初次购买高端存储,将面临投入成本过高,设备利用率不足等问题。
随着数据集中化及云计算成为主流建设模式,存储资源集中化、业务大规模部署及运维逐步成为刚需,而传统存储在扩展性上受限,无法适应虚拟化数据中心弹性可扩展的要求。
软件定义存储的灵活性、扩展性和自动化等优势,可帮助企业从传统孤岛式存储进化到共享式存储,统一管理调度资源,解决硬件差异化问题。随着用户需求的变化、技术的变革,软件定义存储能够给用户提供更快的性能、更高的灵活性和开放性、更强的扩展性、更简单的管理,能够集存储资源虚拟化、自动化、服务化为一体,极大地减少了人工成本和随同存储硬件降低成本。
三、存储硬件发展为软件定义存储提供技术基础
SSD(固态硬盘):传统外置磁盘阵列一个 IO(输入/输出)落到硬盘上,要经历多个环节,延时在毫秒以上。而 SSD(固态硬盘)内置在服务器里,可在低于毫秒的时间内对任意位置的存储单元完成 IO 操作,在衡量磁盘性能的主要指标 IOPS 上,固态硬盘可达到机械硬盘的几十甚至上千倍。延时更短,性能更高,为软件定义存储提供了硬件基础。
存储控制器 x86 化:x86 硬件在性能和可靠性上均实现了快速发展,加上其独特的开放性优势,极大推动通用硬件市场的发展。目前各大外置磁盘阵列的存储厂商的存储控制器已采用x86 结构,硬件趋于标准化,为软件定义存储布局打下基础。
多核技术:服务器的 CPU 多核技术已应用于业务应用,在虚拟化环境里,多核处理器既提高了处理器利用率,也提高了单台服务器上用户对更多 IO 的需求。CPU 多核的利用,使得分布式存储在处理业务应用之外处理 IO,实现丰富的软件功能。
高速网络技术:软件定义存储中分布式存储借助于节点之间的缓存(用固态硬盘存放)的同步复制来确保数据的冗余性,高速网络中 RDMA 技术发展对跨节点之间的延迟缩短起到了重要作用。
大容量服务器和磁盘:软件定义存储中分布式存储借助于大容量的服务器和磁盘,能够提供以往外置磁盘阵列才能支持的大存储容量。分布式存储在支持服务器连接 JBOD(磁盘簇)、直连存储进行纵向扩展,容量将进一步扩大。
四、云计算的普及和存储虚拟化技术成熟
随着大数据时代到来,数据量的存储需求迅速增长,越来越多的企业把数据存储作为重要项目管理。存储设备的差异性使高效管理设备面临诸多困难,虚拟化是存储管理效率提升的重要解决方案,存储虚拟化技术可提升存储设备效率管理,整合不同类型存储资源,解决异构存储系统兼容性、扩展性、可靠性、容错容灾问题。
云计算是以数据为中心的一种数据密集型的超级计算,在数据存储、数据管理、编程模式、并发控制、系统管理等方面具有自身独特的技术,云计算改变了信息/IT 服务的提供方式。虚拟化技术是一种调配计算资源的方法,其将应用系统的硬件、软件、数据、网络、存储等隔离开,从而打破数据中心、服务器、存储、网络、数据和应用中的物理设备之间的划分,实现架构动态化,并达到集中管理和动态使用物理资源及虚拟资源的目的,以提高系统结构的弹性和灵活性,降低成本、改进服务、减少管理风险等。
云环境中,虚拟化技术按系统层级划分可分为:服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化以及客户端虚拟化,不同种类的虚拟化技术从不同角度解决不同的系统性能问题。虚拟化技术应用于云计算,简化了资源管理的复杂度,提高了资源利用率。用户可通过互联网随时获得所需服务,按需付费。在数据安全性和完整性要求更高的时代,存储系统变得尤为重要,存储虚拟化技术得到了较快的发展和应用。