vmware storage-1

Datastore:
数据存储是一种逻辑存储单元，它可以使用一个物理设备上的磁盘空间，也可以跨越多个物理设备。类似于文件系统，但隐藏了物理存储设备的细节，给存储虚拟机文件提供了统一的模型，虚拟机文件保存数据存储特定的目录当中、还可以用来存储模板和ISO映像。vSphere支持以下类型的数据存储:
VMFS：虚拟机文件系统，分布式存储的文件系统
NFS ：NAS（网络附加存储的一种存储格式）
vSAN ：(嵌在vsphere当中，将服务器的底层设备虚拟化成资源池，然后再分配给上层的虚拟机)
vSphere虚拟卷（更细粒度的存储 可以自动的对虚拟机的需求进行动态调整）
即单个虚拟机及其磁盘而不是 LUN 成为存储系统的存储管理单元。虚拟卷封装虚拟磁盘和其他虚拟机文件，并本地存储存储系统上的文件。

ESXi主机支持多种存储技术：

• LUN 是逻辑存储单元
  （在物理卷上划分出逻辑单元）位于磁盘阵列上的逻辑结构，可以被服务器直接识别使用，在SCSI总线上可挂接的设备数量是有限的，一般8个或16个，每个target下面可以有多个LUN
  扩充了设备的描述

• Direct attached(直接连接存储)：通过直接连接而非网络连接连接到主机的内部或外部存储磁盘或阵列

• FC(光纤通道)：用于san的高速传输协议，通常，光纤通道节点是服务器，存储系统，或磁带 驱动器

• FCOE(FCoverinternet)：(把光纤帧封装在以太网传输)通过在同一个以太网链路上同时承载以太网和光纤信道流量，物理基础设施的使用量大大增加。FCoE还减少了网络端口和电缆的总数。

• iSCSI:一种SCSI传输协议，支持访问存储设备和通过标准TCP/IP网络进行电缆连接。iSCSI通过TCP/IP映射面向SCSI块的存储。

这些都是基于LUN 然后通过VMFS文件系统进行格式化供给虚拟机使用

• NFS是NAS的一种 LINUX里面用的传输协议 windows当中用的是CIFS

• NAS:专用数据存储服务器，它其实也有Lun这些基本框架，只不过最大的区别后端存储本身已经创建了文件系统，不用进行格式化 ）连接到以太网
  通过特殊的传输协议给到（CIFS NFS）给到虚拟机，是基于文件级别的共享

• VSAN：是vmware自研的一种分布式存储产品软件，在云计算和大数据环境用的很广泛
  通过分布式存储，可以通过分布式存储技术把零散在服务上的资源整合成资源池 实现共享存储
  原来在×86服务器上有槽位，但没有全都用掉，也是直连的 硬盘也是存在服务器内部的 下面是分布式集群

• Vsphere virtual volumes:在vmware特有的 ，后端是存储容器 基于已有的 不管是NAS SAN
  存储设备上的资源都可以用 通过FC/以太网连到虚拟磁盘去用 这是我们整个虚拟存储的概览

关于VMFS：
ESXi主机版本6.5及以后支持VMFS5和VMFS6:
VMFS5和VMFS6都支持的功能:

• 它们允许并发访问共享存储 使多个主机并发的同时访问同一个数据存储，并且不会互相干扰
• 它们可以动态扩展 （datastore 可以动态扩展）
• 它们使用1 MB和512 MB的块大小，这对于存储大型虚拟磁盘文件非常合适 虚拟机的磁盘文件打包在块 可能几个G 很大
  如果提供512M的块大小 那我分块存储的时候 分的数量就比较少
• 提供磁盘上的锁定 在进行并发访问共享存储的时候
  IO不会造成冲突，如果ESXi主机出现故障，则释放每个虚拟机的磁盘锁，以便可以在其他ESXi主机上重新启动虚拟机。

VMFS6支持的功能:

• 4K本机存储设备
• 自动空间回收：

有精简置备，用多少占多少，空间可以支持回收

支持的服务：
•迁移正在运行的虚拟机从一个ESXi主机到另一个没有停机时间
•在不同的物理服务器上自动重新启动失败的虚拟机
•集群的虚拟机在不同的物理服务器VMFS

VMFS可以部署在三种基于scsi的存储设备上:
•直接连接存储
•光纤通道存储
•iSCSI存储

虚拟机看到的并不是VMFS系统，虚拟机来说看到的仍然是操作系统所使用的的文件系统，NFS,EXT4等，这些被封装成VMFS，VMFS是针对ESXi主机来说的，不是虚拟机来说的

NFS:
NFS是在文件系统级别通过网络共享的存储 是NAS中的一种 网络附加存储 和VMFS最大的区别就是后端已经对数据进行格式化了 NFS是通过挂载的方式将数据存储的资源在主机上进行挂载 有专门的文件系统，所以说是文件系统级别的
支持基于TCP/IP的NFS版本3 和4.1
因为NFS 3和NFS 4.1客户机不使用相同的锁定协议，所以不能使用不同的NFS版本在多个主机上挂载相同的数据存储。从两个不兼容的客户机访问相同的虚拟磁盘可能导致不正确的行为并导致数据损坏。

VSAN:vmware 的一款分布式存储软件，是虚拟环境中与hpervisor聚合的，软件定义的存储
通过集群主机连接的硬盘，驱动器 ，vsan创建由虚拟机共享的聚合数据存储
把零散的磁盘资源 聚合成资源池 vSAN可以配置为混合存储或全闪存。在混合存储体系结构中，vSAN将服务器连接的hdd和ssd存储在一起，以创建分布式共享数据存储，从而抽象存储硬件，为虚拟机提供软件定义的存储层。闪存用作读缓存/写缓冲区来加速性能，磁盘提供容量和持久的数据存储 服务器计算和存储是兼具的，全闪存架构，其中闪存设备用作写缓存，而ssd提供容量、数据持久性和一致的快速响应时间

VVOLS：
后端存储是存储容器，把很多东西内部环境都封装在一起，在迁移的时候就很方便 把LUN或NFS传统的存储件给替换掉，vSphere虚拟卷存储范式旨在解决软件定义数据中心中下一代存储的需求。
 VMDK的本地表示可以基于SAN/NAS 没有管理的中心节点（没有LUN和虚拟卷管理） 通过VMDK的逻辑表示去做的
 基于已经存在的LUN和SAN 不用重新去部署 有的拿来用

 在VM/VMDK级别为数据操作创建一个新的控制路径。（粒度更细）

 在外部扩展上支持VM级快照、复制和其他操作。

 自动控制每个vm的服务级别。

 API for storage 可以发现后端存储

 存储容器可以跨越整个数组

裸设备映射：
普通存的是VMDK 和flat vmdk
RDM上存的是rdm.vmdk的映射文件 必须存放在VMFS文件系统
通过这个映射文件吧存储映射到裸的LUN 有点像快捷方式 ，指针
允许虚拟机直接访问物理LUN

物理存储注意事项
Sphere存储需求，包括以下内容:
LUN大小
I / O带宽
LUN每秒能够执行的I/O请求 IOPS
磁盘高速缓存参数
分区和屏蔽 怎么分区 怎么映射
每个ESXi主机都有相同的LUN
主动-主动或主动-被动数组
导出NFS数据存储的属性

FC：

• SAN:storage area network 存储区域网络

SAN中有存储侧和主机侧 ，存储放一边，主机放一边，中间通过交换网络连到一起
如果通过FC连接到一起叫FCSAN
如果通过iscas 普通的交换机ip san
是可以把主机和远程的高性能存储设备通过光纤通道进行连通的高速专用网络

• ESXi支持:

32 Gbps光纤通道
以太网光纤通道(FCoE)

从上到下

• 存储系统 磁盘阵列 物理磁盘 做raid 形成物理卷然后做划分形成LUN 逻辑存储单元
• SP：存储控制器 向磁盘阵列传输命令信号
• FC交换机
• 通过HBA卡和主机通信
• 主机有IO产生的时候通过HBA卡链接到FC交换机然后通过控制器

WWN：全球唯一的 64为的地址 设计给FC节点
Lun masking:sp级别实现lun的映射
Zoning：设置在交换机级别：为了限制主机访问Lun 只看得到分配到的lun
你这个HBA卡连接到哪个SP 哪些LUN可以看到 ，HBA卡可以访问到哪些LUN
不同配额的用户看到的东西是不一样的
通过Zoning不能精确到一对一的访问
这就需要masking ，做的更细

存储多路径技术
存储多路径允许在硬件故障的时候还能够对磁盘阵列进行访问
而且支持负载均衡

主机通过特定的HBA端口连接到FC交换机然后连接到SP访问磁盘阵列。
一般情况下，主机都只通过特定的一条路径去访问磁盘阵列，如果这条路径失效了，那么可以通过别的有效的路径对磁盘阵列进行访问。

•Active-active磁盘阵列允许通过所有可用的存储处理器同时访问lun，而不会显著降低性能。所有路径在任何时候都是活动的(除非一条路径失败)。
•Active-passive磁盘阵列中，一个存储处理器正在主动地为给定的LUN提供服务。另一个存储处理器充当LUN的备份，可能正在积极地为其他LUN I/O提供服务。I/O只能发送到活动处理器。如果主存储处理器发生故障，其中一个辅助存储处理器将自动或通过管理干预激活。

你如果没有光纤交换机又想用光纤去传 那么就可以通过FCOE交换机 光纤帧封装在internet帧里面

在FCOE使用过程中 有软件硬件
主要区别在适配器 FC驱动
硬件 ：通过聚合网络适配器
软件：通过软件的方式 ，同时网卡需要兼容软件 ，无需在ESXI主机上安装专用的HBA或者第三方FCOE驱动程序，必须将用于FCoE的NIC作为上行链路绑定到包含VMkernel端口组（vmk）的vSwitch
FCoE协议将光纤通道帧封装为以太网帧。因此，您的主机可以使用10 Gbit无损以太网来传递光纤通道流量

配置软件FCOE:
第一步：
将VMkernel连接到安装在主机上的物理FCoE nic。
在FCoE初始化期间发现VLAN ID（FC需要隔离的网络）和优先级。优先级类没有在vSphere中配置。
ESXi支持用于软件FCoE的最多四个网络适配器端口。
第二步：
添加软件FCOE适配器

软件FCOE多路径：

通过Vsphere virtual switch实现多路径
多个vmkernel 端口连接到多个物理网卡 实现多个路径访问到fc存储

ISCI 组件：

ESXi主机配置了一个iSCSI启动程序。启动程序可以基于硬件，在这种情况下，启动程序是iSCSI HBA。或者启动程序可以是基于软件的，称为iSCSI软件启动程序

iSCSI地址：

iSCS别名： 即一种替代 iSCSI 名称使用的更易于管理的 iSCSI 设备或端口名称。iSCSI 别名
不是唯一的，它只是一个与端口关联的友好名称。
Target:目标存储
Eui:不同的命名规则

存储设备命名约定：
存储设备有很多定义的方式
Runtime name: 使用vmhbaN:C:T:L约定。此名称在重新引导时不持久。
vmhbaAdapter:CChannel:TTarget:LLUN
■
vmhbaAdapter 是存储适配器的名称。此名称指的是主机上的物理适配器，而不是由虚拟机使用的 SCSI 控制器。
■
Channel 是存储器通道号。
软件 iSCSI 适配器和从属硬件适配器使用通道号来显示到同一目标的多个路径。
■
Target 为目标号。目标编号由主机确定，如果对主机可见的目标的映射更改时，编号也可能更改。由不同主机共享的目标可能没有相同的目标号。
■
LUN 是显示目标中 LUN 位置的 LUN 号。LUN 号由存储系统提供。如果目标只有一个 LUN，则 LUN 号始终为零 (0)。
C1代表第二个通道
T1代表第二个适配器
前面三个会发生变化（重启或是其他）lun号不会发生变化

iSCSI 适配器：

• 硬件卡：内置了ISCSI启动器 ，需要有HBA卡驱动 （indenpendent） 在主机上安装专业的iSCSI
  HBA适配卡，从而实现主机与交换机之间、主机与存储之间的高效数据交换。

• Denpendent :依赖于网卡 ，iscsi 启动器内置于网卡里面 esxi 要配两个东西： 驱动+ iscsi
  采用TOE卡可以大幅度提高数据的传输速率。TCP/IP协议栈功能由TOE卡完成，而iSCSI层的功能仍旧由主机来完成。vmkernel
  需要给iscsi 配一个地址

• 纯软件的：对网卡没有要求 ，esxi要求：驱动+TCP/IP+iscsi 启动器
  性能会有影响，vmkernl开销会大，好处：不需要受限于卡
  与前两种方式相比，第三种连接方式中采用了iSCSI HBA卡，因此数据传输性能最好，价格也最高。

ESXi 对IP存储的配置：

必须为ESXi创建一个VMkernel端口来访问软件iSCSI。
可以使用相同的端口访问NAS/NFS存储。
要优化您的vSphere网络设置，请将iSCSI网络与NAS/NFS网络分开:最好是物理分离。如果无法进行物理分离，则使用vlan。
软件iSCSI的网络配置包括在虚拟交换机上创建一个VMkernel端口来处理iSCSI流量。
根据您希望为iSCSI流量使用的物理适配器的数量，网络设置可能有所不同:
•如果您有一个物理网络适配器，您需要在虚拟交换机上有一个VMkernel端口。
•如果您有两个或多个用于iSCSI的物理网络适配器，您可以将这些适配器用于基于主机的多路径。出于性能和安全方面的考虑，最佳实践是将您的iSCSI网络与其他网络隔离。物理地分离网络。如果无法在物理上分离网络，则通过为每个网络配置单独的VLAN，在单个虚拟交换机上从逻辑上将网络彼此分离。

您必须激活软件iSCSI适配器，以便您的主机可以使用它访问iSCSI存储。
您只能激活一个软件iSCSI适配器。
请注意如果使用软件iSCSI适配器从iSCSI启动，则在第一次启动时启用适配器并创建网络配置。
如果禁用适配器，则在每次引导主机时重新启用它。

发现iscsi 目标：

SCSI适配器发现网络上的存储资源，并确定哪些资源可用于访问。ESXi主机支持以下发现方法:
 静态
 动态的,叫做SendTargets
SendTargets响应返回IQN和所有可用的IP地址。
•静态发现:发起者不必执行发现。发起者预先知道它将联系的所有目标，并使用它们的IP地址和域名与它们通信。
•动态发现或SendTargets发现:每次发起者联系指定的iSCSI服务器时，它都将SendTargets请求发送到服务器。服务器通过向发起者提供可用目标列表来响应。这些目标的名称和IP地址在vSphere客户端中显示为静态目标。可以删除由动态发现添加的静态目标。如果删除目标，则在下一个rescan操作期间可能会将目标返回到列表。如果HBA被重置或主机被重新启动，目标也可能被返回到列表中。

iSCSI存储多路径：

软件或相关硬件iSCSI:

 使用多个网卡

 将每个NIC连接到一个单独的VMkernel端口

 将VMkernel端口与iSCSI启动程序绑定

独立硬件iSCSI使用两个或多个硬件iSCSI适配器