云计算中的存储基础知识
物理磁盘的类型
机械硬盘简介
常见的、按照接口不同来区分的机械硬盘类型主要有 SATA 和 SAS,
SATA盘:存储型的硬盘 SATA的全称是Serial Advanced Technology Attachment,SATA(Serial ATA)口的硬盘又叫串口硬盘。SATA采用串行连接方式目前普及的 SATA 3.0 可达 6.0Gbit/s 的传输速率,串行ATA总线使用嵌入式时钟信号,具备了更强的纠错能力,与以往相比其最大的区别在于能对传输指令(不仅仅是数据)进行检查,如果发现错误会自动矫正,这在很大程度上提高了数据传输的可靠性。串行接口还具有结构简单、支持热插
SAS盘:SAS(Serial Attached SCSI)即串行连接SCSI,是新一代的SCSI技术,与目前流行的SATA硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,并且提供与SATA硬盘的兼容性‘相对于SATA盘其存储空间较小
NL-SAS 接口硬盘:NL-SAS是采用了SAS的磁盘接口和SATA的盘体的综合体。NL-SAS硬盘的转速只有7200转,因此性能比SAS硬盘差。但由于使用了SAS接口,所以在寻址和速度上有了提升。
固态硬盘简介
SSD盘:SSD(Solid State Disk),固态硬盘,是用固态电子存储芯片阵列而制成的硬盘,由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。SSD在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同,在产品外形和尺寸上也完全与普通硬盘一致。SSD虽然具有传统机械硬盘所不具备的快速读写、质量轻、能耗低以及体积小等特点,但其使用寿命有限且价格较高。读写次数低大约三千次
所谓集中式,指的是所有的资源都集中在某一个中心,然后通过统一接口向外提供服务。集 中式存储指的是将所有的物理磁盘集中在硬盘框中,然后通过控制器向外提供存储服务,这里的 集中式存储主要指的是磁盘阵列
分布式存储:
分布式存储技术并不是将数据存储在某个或多个特定的 节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个 虚拟的存储设备,数据分散的存储在企业的各个角落。在分布式存储中,实现数据的高可靠性的是副本 机制。副本机制是指将数据复制成一模一样多份分别保存在不同的服务器上,当某台服务器出现 故障后,数据不会丢失。
RAID机制
集中式存储把所有的磁盘集中到硬盘框,使用控制框统一进行控制,可以实现存储容量的动态扩展,同时增强系统的容错能力,提高存储系统的读写性能,而用到的技术就是 RAID 机制RIAD 全称是 Redundant Arrays of Independent Disks,冗余磁盘阵列。RAID 技术经过 不断的发展,现在已拥有了 RAID-0~RAID-6 7 种基本的 RAID 级别
RAID 0
RAID-0 的速度是最快的。但是 RAID-0 没有冗余功能,如果一个物理磁盘 损坏,则所有的数据都会丢失。可靠性最低
RAID 1
RAID-1 又称为 Mirror 或 Mirroring(镜像),它的目的是最大限度地保证用户数据的可用 性和可修复性。RAID-1 的原理是把用户写入硬盘的数据百分之百地自动复制到另外一个硬盘 上。 RAID-1 在主硬盘上存放数据的同时,也在镜像硬盘上写同样的数据。当主硬盘损坏时,镜 像硬盘代替主硬盘的工作。因为有镜像硬盘做数据备份,所以 RAID-1 的数据安全性是所有 RAID 级别中最好的。但是无论用多少磁盘做 RAID-1,有效数据空间大小仅为单个磁盘容量, 是所有 RAID 上磁盘利用率最低的一个级别。
RAID 5
RAID-5 是高级 RAID 系统中最常见的一种 RAID 级别,由于其出色的性能与数据冗余平衡 设计而被广泛采用。其全名为“独立的数据磁盘与分布式校验块”。RIAD 使用的是奇偶校验来进 行校验和纠错。用简单的语言来表示,至少使用3块硬盘(也可以更多)组建RAID5磁盘阵列,当有数据写入硬盘的时候,按照1块硬盘的方式就是直接写入这块硬盘的磁道,如果是RAID5的话这次数据写入会分根据算法分成3部分,然后写入这3块硬盘,写入的同时还会在这3块硬盘上写入校验信息,当读取写入的数据的时候会分别从3块硬盘上读取数据内容,再通过检验信息进行校验。当其中有1块硬盘出现损坏的时候,就从另外2块硬盘上存储的数据可以计算出第3块硬盘的数据内容。也就是说raid5这种存储方式只允许有一块硬盘出现故障,出现故障时需要尽快更换。当更换故障硬盘后,在故障期间写入的数据会进行重新校验。 如果在未解决故障又坏1块,那就是灾难性的了。P 为数据的校验值,D 为真实的数据。
RAID 6
RAID-6 是为了进一步加强数据保护而设计的一种 RAID 方式,与 RAID-5 相比,RAID6 增加了第二种独立的奇偶校验信息块 P代表第一个校验位 Q 代表第二个校验位 RAID 6可以允许整个阵列中两块磁盘数据丢失.RAID-6 的数据安全性比 RAID-5 高但是控制器的设计较为复杂,写入速度不是很高,而且计算校验信息和 验证数据正确性所花的时间也比较多,当对每个数据块进行写操作时,都要进行两次独立的校验 计算,系统负载较重,而且磁盘利用率相对 RAID-5 低一些,配置也更为复杂,适合用在对数 据准确性和完整性要求更高的环境中。
RAID 2.0
RAID 2.0(独立磁盘冗余数组2.0, Redundant Array of Independent Disks Version 2.0)其基本思想就是把大容量机械硬盘先按照固定的容量切割成多个更小的分块(Chunk,通常为64MB),RAID组建立在这些小分块上,而不是某些硬盘上,我们称为分块组(Chunk Group)。此时硬盘间不再组成传统的RAID关系,而是组成更大硬盘数量的硬盘组(通常包含96块盘),每个硬盘上不同的分块可与此硬盘组上不同硬盘上的分块组成不同RAID类型的分块组,这样一个硬盘上的分块可以属于多个RAID类型的多个分块组。以这样的组织形式,基于RAID2.0技术的存储系统能够做到在一块硬盘故障后,在硬盘组上的所有硬盘上并发进行重构,而不再是传统RAID的单个热备盘上进行重构,从而大大降低重构时间,减少重构窗口扩大导致的数据丢失风险,在硬盘容量大幅增加的同时确保存储系统的性能和可靠性
RAID 2.0 技术特征
1、几个、几十个甚至上百个机械硬盘组成硬盘组;
2、硬盘组中的硬盘被分割成几十兆、上百兆的分块,不同硬盘上的分块组成的分块组(Chunk Group);
3、RAID计算在分块组(Chunk Group)内进行,系统不再有热备盘,而是被同一分块组内保留的热备块所代替。
RAID技术特点:
1、高效性:多块磁盘并行读写 2、安全:奇偶校验和热备技术(备用盘)
集中式存储类型
所谓集中式,指的是所有的资源都集中在某一个中心,然后通过统一接口向外提供服务。集 中式存储指的是将所有的物理磁盘集中在硬盘框中,然后通过控制器向外提供存储服务,这里的 集中式存储主要指的是磁盘阵列。 集中式存储按照技术架构可以划分为 SAN 和 NAS,其中 SAN 又可以细分为 FCSAN、 IPSAN、FCoESAN。目前 FCSAN 和 IPSAN 技术都比较成熟,FCoESAN 目前还处于发展初 期
SAN存储简介
存储区域网络(Storage area network,SAN)是一种独立于业务网络系统之外,以块级 数据为其基本访问单位的高速存储专用网络。这种网络的主要实现形式有光纤通道存储区域网络 (FC-SAN)、IP 存储区域网络(IP-SAN)和 SAS 存储区域网络(SAS-SAN)。不同的实现形式 分别采用不同的通信协议和连接方式在服务器和存储设备之间传输数据、命令和状态。
SAN 存储网络技术的不断发展,直至现今形成了提到的 3 类存储区域网络体系:以 FC 为基础的 FC-SAN 光纤通道存储区域网络、以 IP 为基础的 IP-SAN 存储区域网络和以 SAS 总线 为基础的 SAS-SAN 网络
FC-SAN
FC-SAN 中,存储服务器上通常配置两个网络接口适配器:一个用于连接业务 IP 网络的 普通网卡(network interface card,NIC),服务器通过该网卡与客户机交互;另一个网络接口适配器是与 FC-SAN 连接的主机总线适配器(hoat bus adaptor,HBA),服务器通过该适配器 与 FC-SAN 中的存储设备通信。
W
IP-SNA
IP—SAN 是标准的 TCP/IP 协议和 SCSI 指令集相结合的产物, 是基于 IP 网络来实现块级数据存储的方式。常见的 IP-SAN 协议有 iSCSI、FCIP、iFCP 等,其中,iSCSI 是发展最快的协议标准,大多时候我们所说的 IP-SAN 是 指基于 iSCSI 协议的 SAN。基于 iSCSI 的 SAN 的目的就是要使用本地 iSCSI InitiaToR(启动器,通常为服务器)通过 IP 网络和 iSCSI Target(目标器,通常为存储设备)来建立 SAN 网络连接
IP-SAN 和 FC-SAN 其它方面的对比如下表:
NAS存储
网络附加存储(network attached aToRage,NAS)是一种将分布、独立的数据整合为大 型、集中化管理的数据中心,以便于不同主机和应用服务器进行访问的技术。通常 NAS 被定义 为一种特殊的专用文件存储服务器,包括存储设备(如磁盘阵列、CD/DVD 驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件,可提供跨平台文件共享功能。
NFS
NFS(Network File System),网络文件系统,是由Sun公司开发的,用于在Linux/UNIX/AIX/HP-UX/Mac OS X等类UNIX的操作系统中实现网络文件共享。通过挂载命令将远程的文件系统挂载在自己的文件系统之下,像使用本机文件一样使用远程共享文件
CIFS
CIFS(Common Internet File System),通用网络文件系统,是由微软的SMB(Server Message Block)发展而来的一个公共、开放的文件系统。在Windows主机之间,可以通过一个简单的共享映射,将CIFS服务器上的共享资源挂载到自己的系统中,把它当成自己本地系统资源一样来使用。
虚拟化中的存储架构
如果有文件系统,即为虚拟化存储,如果没有,即为非虚拟化存储。这里的文件系统可以是 NFS 文件系统,也可以是虚拟化 集群的文件系统。如果是没有文件系统,虚拟化集群需要直接调动逻辑卷使用。在云计算中,虚拟化程序会将逻辑卷进行格式化,各个厂商的虚拟化文件系统不相同, VMware 使用的是 VMFS(Virtual Machine File System),华为使用的是 VIMS(Virtual Image Manage System),VIMS 它是基于 SAN 存储虚拟化程序使用的最小存储单位为 LUN(LogicalUnit Number),而和 LUN 对应的是卷,卷是存储系统内部管理的对象,LUN Volume 对象的
对外体现。LUN 和卷都是从一个资源池(Pool)中划分出来的。
非虚拟化存储主要是由分布式存储提供服务
分布式存储:物理卷→逻辑卷→虚拟磁盘→vm
虚拟化存储主要是由san和nas存储提供服务
San :多块硬盘→RAID→物理卷→逻辑卷→VIMS(主机)→虚拟磁盘→VM
NAS: 存储池(含文件系统NFS)→虚拟磁盘→VM
RAID与LUN的关系
RAID由几个硬盘组成 ,从整体上看相当于由多个硬盘组成的一个大的物理卷。
在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元,这些逻辑单元称作LUN(Logical Unit Number),可以作为映射给主机的基本块设备。
创建LUN的过程
先从物理硬盘上创建RAID机制然后再在raid上建立逻辑卷 再把操作系统放入了这些逻辑卷中
Pool & Volume & LUN
Pool即存储池,是存放存储空间资源的容器,所有应用服务器使用的存储空间都来自于存储池。
Volume即卷,是存储系统内部管理对象。
LUN是可以直接映射给主机读写的存储单元,是Volume对象的对外体现。
Lun在存储池里叫卷
云计算中非虚拟化存储转换路径
在后台观看虚拟磁盘就是一个文件