高端存储:2016年为止,最新产品为DS8884、DS8886和DS8888。
闪存系统:2016年为止,最新产品,以FlashSystem 900为硬件基础,包装了FlashSystem V9000、A9000和A9000R
Ø Spectrum Scale是一款软件定义存储产品,完全继承GPFS,也称作Elastic Storage, 兼容AIX, Linux and Windows Server操作系统,支持IBM POWER, Intel or AMD Opteron based servers, and z Systems。
Ø Spectrum Scale具有良好的可扩展性、闪存加速性能,以及基于策略的自动存储分层功能(从闪存、磁盘到磁带)。
Ø Spectrum Scale 为所有数据提供单一文件命名空间,提供Swift/S3对象服务和Openstack接口、大数据等存储服务接口。IBM Spectrum Scale:高性能、高扩展性的文件、对象、块和大数据分析的存储软件,具备随地存储、运行和数据访问能力。
Ø Spectrum Scale 在GPFS的基础上增加了Hadoop大数据、对象等能力,在存储功能上有了增强,具备丰富的特性、如Cache加速、生命周期管理、统一命名空间、多站点等;同时支持加密等特性和软硬件解耦部署
云集成
Ø IBM Spectrum controller
Ø SmartCloud Virtual Storage Center
Ø SmartCloud Storage Access
Ø Openstack
Ø IBM Cloud
应用集成
Ø POSIX
Ø Hadoop
Ø NAS
Ø Object
FTP/SCP
丰富的硬件集成
Ø SAN
Ø 闪存
Ø JBOD
Ø 带库
Ø X86…
业务访问:
Ø 标准CIFS/NFS访问
Ø POSIX访问
Ø 对象等
架构(解耦):
Ø 集中部署
Ø 分部署多Region部署
生命周期管理:
Ø 存储内部HDD、SSD之间热点迁移
Ø 存储间,存储和带库间数据热点迁移
Ø 数据云上云下数据热点迁移。
Spectrum Scale的三种交付模型
Ø Cloud-based delivery model: Spectrum Scale 部署在云上提供存储服务,例如 IBM SoftLayer。
Ø Software-based delivery model: 用户可以基于现有的硬件部署IBM Spectrum Scale storage,可以选择不同的服务器硬件和操作系统,目前支持的服务器硬件和操作系统有:Linux on Power、Linux on IBM z Systems、 Linux on x86 (64-bit)、IBM AIX on Power、Microsoft Windows on x86 (64-bit)。
Ø Hardware-based delivery model: 用户可以根据需求购买软硬一体化设备,设备上已经预安装了IBM的相关软件。
架构 |
Spectrum Scale与硬件解耦,支持X86服务器和SAN架构横向扩展(常用架构为分布式节点 后端SAN阵列),或Spectrum Scale Server。 |
操作系统 |
IBM AIX Linux:Red Hat、SUSE Linux Enterprise Server; Windows:Microsoft Windows Server 2012、Microsoft Windows 7 |
硬件支持 |
X86 架构:Intel EM64T 处理器或 AMD Opteron,最少 1GB 系统内存 |
文件系统 |
264(9 quintillion)个文件/文件系统 |
文件系统容量 |
2^99 Byte |
支持节点 |
1 - 16,384 |
支持协议 |
文件访问:POSIX、GPFS、NFS v4.0、SMB v3.0 |
对象存储 |
IBM Cloud Storage System (Cleversafe), Amazon S3, IBMSoftLayer Native Object, OpenStack Swift and Amazon S3 compatible providers |
协议支持 |
Ø Object Access Protocols (Swift/S3),Openstack Swift (Based on Juno Release),S3 Protocol. Ø REST-based data access ü Simple set of atomic operations:PUT (upload), POST (update metadata), GET (download),DELETE |
增值功能 |
Encryption, Compression, QoS, & Disaster Recovery, File-In-Object-Out and Object-In-File-Out Support, transparent cloud tiering, Multi Region support, ILM support for Object, Movement of Object across storage tiers, AFM. |
IBM Spectrum Scale基于SDS,实现容量和性能独立按需扩展,避免容量或性能浪费,也可以独立扩展存储服务接口类型。IBM Spectrum Scale支持多种部署选项和现有块存储、存储服务器(ESS)硬件节点集成,提供全局命名空间和统一访问接口,如文件接口 (POSIX, NFS, CIFS), 对象接口 (S3, SWIFT) 、大数据接口 Hadoop Distributed File System (HDFS)等等
Ø TCS(Transparent cloud tiering): 集Flash、HDD disk, cloud, 带库成一套存储系统,满足高性能、降低成本。IBM公有云(如Softlayer)或Cloud Object Storage 可作为其一个存储层使用。
Ø 统一的文件和对象:文件和对象共享存储空间,文件数据可以通过文件读取,避免了数据孤岛和数据从文件到对象转化的成本。
Ø 快照和同步异步复制: 实现数据快速备份,副本和数据按需恢复;实现自动的故障Failover和Fialback。
Ø 基于策略的数据压缩: 节约存储容量,按需指定需要压缩的数据。
Ø Encryption and Secure File Delete: 采用独立密钥管理系统实现数据在传输过程和存储介质中的加密,采用销毁密钥的方式删除数据。
Ø 多站点global collaboration. 部署在不同区域的存储可以通过全局命名空间访问,通过全局文件共享Global Active File Management和advanced routing and caching加速跨数据中心和区域应用的访问性能.
Ø 数据生命周期智能感知. 基于策略,根据冷热度把数据迁移至匹配层。
Spectrum Scale的发展与演进
l 软件定义存储,软硬件解耦
Ø 可以根据业务需要选择硬件.
Ø IBM 提供了Elastic Storage Server (ESS) 配合Spectrum Scale版本部署 ;
l Spectrum Scale架构分类
Ø Network-Based Client架构
Ø Direct Attached Storage架构
Ø Mixed NSD access架构
Ø File Placement Optimizer (FPO)架构
Spectrum Scale是存储虚拟化软件,与硬件解耦;可根据应用需求选择硬件,考虑灵活性,可以采用通用硬件,考虑性能,可以选择配置较高的硬件,IBM推荐的服务器为Elastic Storage Server。
The IBM Elastic Storage Server is based on the following software:
Ø Red Hat Enterprise Linux 7 for Power
Ø GPFS Standard Edition 4.1
Ø GPFS Native RAID 4.1
Ø IBM Support for xCAT 2(Extreme Cluster/Cloud Administration Toolkit)
Elastic Server GS系列分四个型号:
• GS1支持24块SSD磁盘,带宽支持6GB
• GS2支持SSD或SSD SAS配置,对应带宽有所区别。
• GS4模型和GS2类似,最大区别在于磁盘数量和带宽。
• GS6支持SSD和SAS混合配置,带宽可以支持7GB。
Elastic Server GL系列分三个型号:
GL2支持SSD和NL-SAS磁盘配置,聚焦分析性业务,对应带宽可达5GB以上,裸容量可达460TB。
GL4聚焦大数据分析和云计算,类似GL2,最大区别在于磁盘容量和带宽。
GS6是由6个磁盘框构成,所以支持容量更大,性能更高,带宽可以支持12GB以上。
IBM Spectrum Scale RAID
l Spectrum Scale搭配IBM的服务器和JBOD硬件组合为Elastic Storage Server,这种方案中已经实现了EC方式的软RAID(本地RAID),所有数据分布由Spectrum Scale控制。 软RAID支持EC(最大 3)和副本(最大4副本);数据分布到更多盘,获取更高的性能和数据恢复效率;能承受硬盘框级别的故障。
l Active File Management (AFM)
AFM主要用来实现跨地域的数据共享和访问加速,适用于分支办公场景,AFM为位于不同地域的多个集群提供统一的命名空间,多个集群间可通过WAN互联,使用NFS协议进行数据的并行传输 。
l Spectrum Scale Snapshots for Files
支持基于file system, file set, and file level的快照,可指定策略的保留周期、支持多次快照,快照支持备份或镜像程序并发访问(推测是只读快照)。
支持文件克隆。 IBM Spectrum Scale V4版本支持10,000个Filesets,支持256个Global 快照和256个独立的Fileset快照。
Filesets:提供一个细粒度的文件目录管理方式,如文件系统的一个分区或子目录,Filesets可以用来执行配额管理、快照、挂载、卸载操作、并可作为存储Pool使用等。
通过在Client节点插入廉价的SSD和Flash,Spectrum Scale 自动的、透明的把热点数据加速在SSD或Flash中,增加存储性能,并且减小数据访问时延。
Highly Available Write Cache (HAWC)
HAWC采用NVRAM(SSD、Flash或FlashSystem)缓存recovery log,降低同步写的时延,通常有两种方式使用HAWC。
Ø 保存Spectrum Scale recovery log和元数据到高可用的存储系统,例如闪存、FlashSystem。
Ø 保存Spectrum Scale recovery log和元数据在Spectrum Scale client节点的低可靠NVRAM中。
Hierarchical Storage Management (HSM)
HSM是一个数据性能优化方案,通过闪存IBM FlashSystem作为Hot file存储层提高文件系统性能,并实现数据在HDD、SSD和带库之间按照热点自动回迁。
Spectrum Scale可以定制ILM(Information lifecycle management)策略, ILM策略使用类SQL的语法,将冷数据迁移到云存储中,云存储支持IBM自己的公有云、Cleversafe和其他兼容Amazon S3或OpenStack Swift的对象存储。
Unified file and object access (UFO)
l 通过文件接口(SMB/NFS/POSIX)访问对象数据,同时支持通过对象接口访问文件,无缝地继承了文件和对象数据。
l 在类似Hadoop MapReduce或Spark的分析系统中,对象数据可以作为File或fileset被直接访问用来进行数据分析。
l 数据以对象采集、分析结果以对象发布,整个过程无需数据移动。
支持虚拟化部署
Ø Spectrum Scale支持部署在专用的服务器,或部署在如基于虚拟化的AIX, Linux,或者 Windows操作系统之上。
Ø 基于虚拟化部署,考虑到性能,兼容性等因素,在实际应用中很少遇到,在技术上支持的虚拟化平台有:
ü PowerKVM
ü PowerVM: 两种Virtual I/O Server (VIOS)方式实现虚拟化。
l Virtual SCSI target adapters (VSCSI)
l Virtual Fibre Channel adapters (NPIV)
ü Hyper-V
ü VMware
KVM
Native Encryption and Secure Erase
数据加密
Ø 采用加密软件在应用层实现加密。
Ø 数据在存储到磁盘之前完成加密,不影响其他存储其他增值特性。
安全数据销毁
Ø 通过销毁管理密钥实现数据销毁,不需要多次擦写磁盘,所以在销毁数据时,对其他应用业务不会产生性能影响。