网络系统集成-网络存储
存储介质
- 软盘：读写通过软盘驱动器完成
- 磁带：一种用于记录声音、图像、数字或其他信号的载有磁层的带状材料
- 硬盘：电脑主要春初媒介置以，由一个或多个铝制或者玻璃制的碟片组成
- 光盘：以光信息作为存储物的载体
- flash闪存：一种不会发的内存器件(ssd硬盘就是一组flash+控制器组成)
硬盘类型
- 介质：机械硬盘(hdd) 固态硬盘(ssd)
- 盘径(英寸)：5.25、3.5、 2.5 、1.8
- 接口：ata/ide、sata/nl sas 、scsi、sas、fc
- 功能：桌面级、企业级
硬盘关键指标
- 容量：容量的单位为兆字节或千兆字节。相比桌面级硬盘，企业级硬盘具备更大的存储容量，当前单硬盘最大容量可达6tb
- 转速:硬盘转速指硬盘盘片每分钟转过的圈数，单位为rpm，衡量读写性能的重要指标。一般sata硬盘转速5.4k/7.2rpm，sas硬盘转速10k/15k，ssd硬盘无转速。
- 平均访问时间：平均寻道时间+平均等待时间
- 数据传输率/吞吐量：硬盘数据层传输率指读写数据的速度，单位为兆字节每秒
对于大量顺序读写的应用，如电视台的视频编辑、点播更关注吞吐量(单位时间内成功地传送数据的数量) - iops:即每秒输入输出量，衡量磁盘性能的主要指标之一。随机读写频繁的应用，如oltp(在线交易处理)，iops是关键衡量指标。
主流硬盘
机械硬盘与ssd硬盘的区别
因为磁头顺序移动，随机读写时，磁头不停的移动，时间都花在了磁头寻道上，使得机械硬盘连续读写性好，随机读写性差。
企业设备存储规划
- 闪存：存储常用数据，即热数据
- 通用磁盘阵列或云存储：以硬盘位主要介质
- 磁带库：存冷数据
企业级存储(便宜大碗)
- 磁带机
- 磁带库：花同样的时间存储数据比一般硬盘多，且寿命长，不占地，不耗电，更皮实，即使损坏还可以接上，且安全。
- 虚拟磁带库
企业存储图示
存储到发展历程：从附属服务器到剥离成独立系统
- 可以看出80 90年代控制器向外迁移。减轻服务器内存控制的工作负担
- nas提供文件级的数据共享
- san提供结构化数据共享
主流硬盘类型
补充
- ide已经被淘汰，家用小型计算机常用sata
- 并行和串行的区别：并行一次1位传输，串行一次8位传输，但是串行同步是个问题所以仍然很少用
- 近几年sas使用逐渐增多
网络存储技术
分类
存储技术核心(raid)
-
概述
即独立磁盘冗余阵列，raid是一种把多块独立的硬盘按不同的方式组合起来形成一个硬盘组(逻辑上的硬盘组)，从而提供比单个硬盘更高的存储性能和数据冗余技术。
大型磁盘阵列机控制部分与磁盘阵列部分采用分开的设备，存储容量可达到数百tb
磁盘阵列机采用精简型操作系统，如Linux等
磁盘阵列机可以通过自带的网卡接连到网络中
而组成磁盘阵列的不同方式又可以分出raid级别。 -
组织方式
将一个分区分成多个大小相等、地址相邻的块，这些块成为分块。他是组成条带的元素。这里的条带指的是同一磁盘阵列中多个磁盘驱动器上相同位置的分块。
-
磁盘阵列机系统结构
-
raid级别
0 ：条带化结构，由raid控制器将文件分割成大小相同的数据块，同时写入阵列中的磁盘，连续存储的数据块就像一条带子横跨所有的磁盘，每个磁盘的数据块大小都是相同的。一次具有很高的数据传输率，但是它没有数据冗余，尽管不占用cpu资源，但并不能算是真正的raid结构，raid 0 只是单纯的提高性能并没有为数据的可靠性提供保证，若其中一个磁盘失效将影响到所有数据。
1：镜像结构
他是通过磁盘阵列数据镜像实现数据冗余，在承兑的独立磁盘上产生互为备份的数据，100%的数据冗余。在原始数据繁忙时，可直接从镜像拷贝中读取数据，因此raid1可以提高读取性能，raid1的成本比较高，其硬盘控件利用率只有1/2
当一个磁盘失效时，系统可以自动切换到镜像磁盘读写，而不需要重组失效的数据，提供了较高的数据安全性和可用性。
但是缺点也很明显，因为提供的有利的容错能力，却牺牲硬盘容量为代价获得效果。
- 3 带奇偶校验码的并行传输
将数据条块化分布于不同硬盘上，raid3使用简单的奇偶校验，并用单块磁盘存放奇偶校验信息，如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据
若奇偶盘也损坏，就无法恢复数据了
特点：
- 具有较高读取速率 适合大文件连续操作的应用
- 由于每次操作时都需要进行校验计算，读取性能大幅度下降
- 最小磁盘数3个
- 允许坏一个磁盘 但不能是校验盘
raid5
RAID5把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上，其中任意N-1块磁盘上都存储完整的数据，也就是说有相当于一块磁盘容量的空间用于存储奇偶校验信息。因此当RAID5的一个磁盘发生损坏后，不会影响数据的完整性，从而保证了数据安全。当损坏的磁盘被替换后，RAID还会自动利用剩下奇偶校验信息去重建此磁盘上的数据，来保持RAID5的高可靠性。
优点
- 高可用性
- 磁盘利用率高
- 随机读写性能高，校验信息分布存储于各个磁盘，避免单个写操作瓶颈
缺点
- 抑或校验影响存储性能
- 硬盘重建过程较为复杂
- 控制器设计复杂
应用范围
适合文件服务器 email服务器 web服务器等io密集的可随机读写的应用环境
raid 6
RAID6全称为Independent Data Disks with two Independent Distributed Darity Schemes（带有两个独立分布式校验方案的独立数据磁盘）
RAID 6技术是在RAID 5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区,RAID 6 是在RAID-5基础上把校验信息由一位增加到两位的RAID级别。
RAID6的优点是快速的读取性能，更高的容错能力；而它的缺点是很慢的写入速度，RAID控制器在设计上更加复杂，成本更高。
工作原理
p0 即验证d0-d3
dp0 即验证斜向d0到d15
特点
优点
- 具有高可靠性
- 允许两块磁盘失效
- 至少需要四块磁盘
缺点
- 采用两种奇偶校验消耗系统资源。系统负载较重
- 磁盘利用率比5还低
应用范围
对数据准确性和完整性要求极高的环境
raid 1+0
高可靠性于高效相结合的磁盘结构，是将镜像于条带进行的两级组合，所以只有1/2的磁盘利用率
适合银行 证券累对数据敏感较高的企业
优点
- 高读取速度
- 高写入速度
- 特定情况下，可允许n/2个硬盘同时损坏
缺点
磁盘利用率低，只有1/2的硬盘利用率，所以至少需要4块磁盘
应用范围
数据量大 安全要求高 如银行等金融领域
存储主要使用的协议
- scsi协议
- scsi(small computer system interface)是小型计算机系统接口，主要用于高端系统连接(并行传输)，现在已普及到了小型及高端服务器。
- scsi存储是以主机为中心，一条scsi总线上可以连接不同类型设备。
- 协议有scsi-1 -2 -3三种，最新的scsi-3目前应用最广泛，最高传输速率已经达到320mb/s。
- fc协议(存储结构如下图)
- 光纤通道(fiber channel)的简称，用于服务器与共享存储设备连接、存储控制器和驱动器之间的内部连接，是一种高性能的串行连接标准
- 传输速率可达4、8、16g三种标准
- 组件：hba卡(主机通道适配器)、fc switch来连接服务器和存储设备。
3. iscsi协议
- 基于tcp/ip上进行数据块传输的标准，可以理解为scsi over ip
- 可构成基于ip的san(storage area network),iscsi将scsi命令封装到tcp/ip数据包中，使i/o数据块可通过ip网络传输，是未来发展之路。
- sas协议
- scsi总线协议的串行标准，因为采用串行技术获得更高的扩充性，并兼容sata盘。目前sas的最高传输是速率达到3、6Gpbs(千兆比特每秒),且支持全双工模式。
上述协议总结对比
存储网络
das(direct attached storage)直接存储网络
- das是直接连接在服务器主机上的存储设备,如硬盘、光盘等
- 所有存储操作都通过cpu的io操作来完成，存储设备与主机操作系统紧密相连
- 这种存储加重了服务器主机负担
- 存储设备(raid系统 磁带机 磁带库 光盘库等)直接连接到服务器
- 没有独立的操作系统，不能跨平台文件共享，各平台下数据需分别存储
- 各das系统直接没有连接，数据只能分散管理；各软件不能离开服务器支持；das的前期投资比较少。
- 优点：费用低，使用简单，容易开发，价格相对较低
- 缺点：不能共享，连接距离有限，升级困难，缺乏好的高可用性，维护复杂
san(storage area network)
特点
- 高可用性：高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；san对于数据库环境、数据备份和恢复存在巨大的优势，san是一种非常安全的，快速传输、存储、保护、恢复数据的方法
- san对于数据环境、数据库备份恢复存在巨大优势
- san是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法
- san是独立出一个数据存储的网络，网络内部数据传输很快，但操作系统容仍停留在服务器端，用户不能直接访问san的网络
- 适合io密集型
分类
- fc san
- 时间：90年代中后期
- 背景：为解决das扩展性差的问题，将存储设备网络化，可以同时连接上百台服务器
- 连接方式：fc光纤，使用专用的fc交换机
- 访问方式：后端一台存储设备的存储控件可以划分为多个lun(l逻辑卷)，每一个lun只能术语一台前端服务器
- 链路速率：2 4 8Gbps
- 提供快照、容灾等高级数据保护功能
- ipsan
- 时间：2001年
- 背景：为解决fc-san在价格及管理上的诸多限制而产生
- 连接方式：采用以太网作为连接链路，以太网交换机访问方式：后端一台存储设备的存储控件可以划分为多个lun，没一个lun只能属于一台前端服务器
- 链路速率：1 10 40 100Gbps
- 提供快照、容灾等高级数据保护功能
- 可以采用非常成熟的ip网络管理工具和基础建设
- ip网络使用普遍，可为企业节省成本
nas(entwork attached storage)
- nas本身没有独立的os，通过网络协议可以i实现完全跨平台共享，支持winnt、linux、unix等系统共享存储分区，nas可以实现集中的数据管理，一般集成本地设备软件，可以实现无服务器备份功能，nas系统的前期投入相对较高。
- nas每个应用服务器通过网络共享协议(如：nfs)使用同一个文件管理系统，nas关注应用 用户 文件以及他们共享的数据 磁盘io会占用业务带宽
- 优点：容易安装 维护简单。 共享数据。 跨平台文件共享。远程访问。 减轻服务器负担。 充分利用网络带宽。
- 缺点：不适合数据库存储。孤立的存储设备。传输速率低成为瓶颈。
- 适合cpu密集型
三种存储技术比较
注 san与nas不是互相竞争的技术，越来越多的数据中心采用san+nas的方式实现数据整合 高性能访问 文件共享服务
存储处理能力
概述
业务提出存储资源需求后，需要对存储性能进行计算
存储性能包括: IOPS、存储带宽、存储容量
业务通常从两个维度提出存储的需求:
- 存储架构
- 存储性能
存储架构选择
- 数据库推荐fc san
- 文件推荐ip san
- 大型系统文件nas
存储性能指标iops(每秒输入输出的次数)
iops作为衡量读写性能指标的重要标准。如下图所示，机械硬盘连续读写性很好，但随机读写性能很差，以为磁头移到正确磁道上需要时间，随机读写磁头需不停的移动，时间都花在寻道上，所以性能不高。
固态硬盘ssd是一种电子设备，避免了传统磁盘在寻找和选装上所花费的时间，存储单元寻址开销大大降低，一次iops可以非常高，能够达到数万甚至数十万。
然而固态硬盘的缺点也很明显：价格昂贵、容量小、寿命短、数据安全、干扰(磁场静电)
注： 随机读写频繁的应用有，小文件存储(图片)、oltp(面向交易处理系统，其基本特征是客户的原始数据立即传送到计算中心进行处理，并很短的时间内给出处理结果)数据库、邮件服务器，这些更关注iops指标。顺序读写频繁的应用有电视台视频编辑、视频点播等，这些更关注吞吐量的指标。
存储性能iops计算公式(重点)
存储性能(iops)=tpc/t * s * f
tpc:服务器性能指标
t：每分钟的业务交易量，如果是每秒的交易量则t=60
s：经验值根据行业经验，通过tpc复杂度 交易内核 交易环节 硬件配置 软件效率综合表现
f:未来发展的冗余，一般按照每年10%-30%的发展速度来计算，综合值位20%，即如果按照3年来规划指定，则 f=(1+20%)^3=2.49
通常一个tpc复杂度会有几个读 写 修改等操作组成。
低io应用：tpc取值20-30
中io应用：tpc取值30-50
高io应用：tpc取值50-80 80-100
设备iops计算公式(重点)
设备iops=单盘iops * 磁盘总数 * 有效iops比例
以raid5为例，完成写操作需要：
- 读数据盘d
- 读校验盘d
- 写数据盘d
- 写校验盘d
可以看出多了3次io(称为写惩罚)
假设用户办公产生的写比例位x%，则有效iops=1(1+3x%)
总结一下，不同类型的写比例的有效iops值
raid5=1/(1+3写比例值)
raid6=1/(1+5写比例值)
raid10=1/(1+写比例值)
计算案例
- 某企业在线视频服务器的业务模型为例，计算存储的iops，视频服务器io操作位读操作为主，只有5%操作为写操作
下图为设备iops值
(1) 某业务规划tpc值为100w，为3年内业务存储规划，预估每年增长20%，请就算iops和磁盘数量：
解：
由公式iops=tpc/tsf=100w / 60 * 50 (1+20%)^3=144w
又因为：选用sas 3.5 15000rpm sas 146 iops
所以 需计算该盘设备iops=单盘iops * 磁盘总数 * 有效iops比例=14012*(1+3*5%)=1460
综上所述：
需要的raid5盘数： 144w/1460 约等于 1000
又因为一个raid5有12盘 所以 总共需要1000*12=12000盘
(2)业务需求：满足6000iops，使用硬盘10tb fc 15k rpm，且读写比例为2比1，计算raid5，raid10分别需要多少块硬盘。
解：使用硬盘10tb fc 15k rpm 即单盘iops为180
由公式 设备iops=单盘iops磁盘总数有效iops比例
得：磁盘总数=设备iops/单盘iops/有效iops比例
即：
raid5磁盘总数=6000/180/(1+3*1/3)=67
raid10磁盘总数=6000/180/(1+1/3)=45
- 一个raid5是由5块500g 10k rpm fc盘组成，读写比例为2：1，请计算raid支持的最大iops及能够给前端应用提供的实际iops。
解：
由题可知：500g 10k rpm fc盘 单盘iops为140
raid5 磁盘总数为 12
有效iops比例为：1 / (1+3 * 1/3)=1/2
由公式设备iops=单盘iops磁盘总数有效iops可知
设备iops(实际iops)=140 * 12 * 1/2 =350
存储带宽计算
实际宽带计算
存储架构：fcsan ipsan nas
实际带宽计算公式：BUL/S
B:带宽
U:宽带利用率
L:包头损失率
S:bit和byte的转换值，为8
计算举例
ipsan带宽利用率约为60%，其中包头损失20%性能，因此千兆带宽的实际带宽为：
1000M * 0.6 * (1-0.2) / 8 = 60M
fcsan带宽利用率大约为80%，包头损失可忽略不计，4g fcsan带宽为：
4000M * 0.8 / 8 = 400M
业务存储带宽计算过程
架构衡量：应用数据库主要分为：oltp和olap两种访问模式，分别为随机读写和顺序读写
业务带宽需求=task * (x%oltp数据块大小+y% * olap数据块大小)
根据大型应用的特点，oltp的应用为olap的9倍，即oltp：olap=9：1
根据此特点，我们以Oracle数据库为例，通常Oracle中默认的数据块定义为8kb(oltp)，olap的数据块为64k。
计算举例
22500人的企业，在线并发数2250人/秒，其中每人提交2个事物请求。
由公式可得：该企业实际业务存储带宽需求为：(22500 * 2 ) * ( 0.9 * 8 + 0.1 * 64) = 59.8M
存储带宽计算
计算输入：存储设备接口总带宽、冗余系数(建议取值15%)
计算公式:存储设备接口总带宽 * (1-冗余系数)
计算举例:
- ipsan设备8个1ge的iscsi接口，总带宽为8gbps，冗余系数为15%，存储设备的带宽=8 * (1-0.15)=6.8gbps
- fcsan设备4个8ge的iscsi接口，总带宽为32gbps，冗余系数为15%，存储设备的带宽=32 * (1-0.15)=27.2gbps
存储配置容量
公式:存储配置容量=存储需求容量 / 存储冗余 * 未来发展容量需求
注：
- 存储冗余一般考虑为(1-损耗率),损耗率一般考虑为35%
- 未来发展容量 每年按照20%速度增长，如果考虑为3年，则 (1+0.2)^3=1.728
案例
如果一个企业当前总需求为10t，需要计算三年内容量需求
存储容量=存储需求容量/存储冗余*未来发展容量需求
= 10t * (1-0.35) * (1+0.2)^3 =26.59t