数据中心的变革:
传统数据中心:硬件服务器+OS+APP
虚拟化数据中心:一个硬件可以跑N个VM,成本降低
云数据中心:云是一种商业运营模式,使用虚拟化技术。
ITaaS–自助化服务 灵活性
云计算特征:
1、按需的自助服务
2、广泛的网络连接
3、资源池化
4、可伸缩弹性
5、可计量服务
公有云:服务平台由运营商进行提供,阿里云、华为云以及三大运营商
私有云:服务器及其他设备在本地中心,不予外部云交互
混合云:关键业务及安全性高系统运营在本地,外部应用运营到工有云
虚拟化分类(按架构)
寄居虚拟化 适合个人使用,在硬件资源商安装APP管理VM (VMware worksation)
裸金属虚拟化 硬件资源上使用虚拟化层(精简的内核操作系统【VMM、Hypervisor】),安装管理调度VM
(FusionCompute、XenServer,Esxi,Hyper-V server)
操作系统虚拟化 硬件资源上存在宿主os,第三次层为容器层,第四层为运行环境和APP (容器)
混合虚拟化 硬件资源上,第二层为宿主os和集成在宿主os的虚拟化层(如KKVM),第三层为APP等 (KVM)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5gWqGCDa-1629345168598)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\1626422318747.png)]
CPU虚拟化需要解决两个问题:
敏感指令:可以读写系统关键资源的指令叫做敏感指令。
特权指令:决大多数的敏感指令是特权指令,特权指令只能在处理器的最高特权级 (内核态)执行。
如何让多个VM共享CPU
利用与Native操作系统类似的机制—通过定时器中断,在中断触发时陷入VMM,从而根据调度机制进行调度。
虚拟机VM共享CPU
利用与原始操作系统类似的机制—通过定时器中断,在中断触发时陷入VMM,从而根据调度机制进行调度。
以RH2288H V3服务器使用2.6GHz主频CPU为例,单台服务器有2个物理CPU,每颗CPU有8核,又因为超线程技术可以提供每个物理内核两个处理线程,因此每颗CPU有16线程,总vCPU数量为282=32个vCPU。总资源为32*2.6GHz=83.2GHz。
虚拟机vCPU数量不能超过单台CNA节点可用vCPU数量。多个虚拟机间可以复用同一个物理CPU,因此单CNA节点上运行的虚拟机vCPU数量总和可以超过实际vCPU数量。
Native操作系统对内存的认识与管理达成以下两点认识:
内存都是从物理地址0开始的
内存都是连续的
内存虚拟化需要解决两个的问题:
从物理地址0开始的:物理地址0只有一个,无法同时满足所有客户机从0开始的要求;
地址连续:虽然可以分配连续的物理地址,但是内存使用效率不高,缺乏灵活性
内存虚拟化:把物理机的真实物理内存统一管理,包装成多个虚拟机的内存给若干虚拟机使用。KVM 通过内存虚拟化共享物理系统内存,动态分配给虚拟机。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YaIarYdi-1629345168599)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629198325395.png)]
KVM中,虚机的物理内存即为qemu-kvm进程所占用的内存空间。KVM使用CPU 辅助的内存虚拟化方式。在Intel平台,其内存虚拟化的实现方式为EPT (Extended Page Tables)技术。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l8agVjk0-1629345168600)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629198413283.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xns8jfyd-1629345168601)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629198566132.png)]
x86 (包括x86-32和x86-64)架构的CPU默认使用4KB大小的内存页面,但是它们也支持较大的内存页,如x86-64系统就支持2MB大小的大页 (huge page)。Linux2.6及以上的内核都支持huge page。如果在系统中使用了huge page,则内存页的数量会减少,从而需要更少的页表 (page table),节约了页表所占用的内存数量,并且所需的地址转换也减少了,TLB缓存失效的次数就减少了,从而提高了内存访问的性能。另外,由于地址转换所需的信息一般保存在CPU的缓存中,huge page的使用让地址转换信息减少,从而减少了CPU缓存的使用,减轻了CPU缓存的压力,让CPU缓存能更多地用于应用程序的数据缓存,也能够在整体上提升系统的性能。
I/O虚拟化需要解决两个问题
I/O虚拟化可以被看作是位于服务器组件的系统和各种可用I/O处理单元之间的硬件中间件层,使得多个guest可以复用有限的外设资源。
设备虚拟化(I/O虚拟化)的过程,就是模拟设备的这些寄存器和内存,截获Guest OS对IO端口和寄存器的访问,通过软件的方式来模拟设备行为。
在QEMU/KVM中,客户机可以使用的设备大致可分为三类:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NMr7q1g5-1629345168602)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629198834852.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-27tWqTvR-1629345168602)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629198895942.png)]
(3)PCI 设备直接分配
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EXqQaNGa-1629345168603)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629198978513.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-psdZ3zD5-1629345168603)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629199080347.png)]
兼容行业特殊操作系统
灵活架构管理
每个逻辑集群支持128物理机,适用于高性能、大规模业务群部署,降低冗余物理机比例
每逻辑集群支持8,000台虚拟机 ,适合桌面云等规模大、性能要求不高业务部署
高可用性设计,VRM (虚拟化部署或者物理部署)主备部署,保证系统可用性
支持GPU虚拟化,GPU直通
在线调整CPU和内存
内存复用、内存置换、内存气泡
内存气泡:系统主动回收虚拟机暂时不用的物理内存,分配给需要复用内存的虚拟机。内存的回收和分配均为系统动态执行,虚拟机上的应用无感知。整个物理服务器上的所有虚拟机使用的分配内存总量不能超过该服务器的物理内存总量。
内存交换:将外部存储虚拟成内存给虚拟机使用,将虚拟机上暂时不用的数据存放到外部存储上。系统需要使用这些数据时,再与预留在内存上的数据进行交换。
内存共享:多台虚拟机共享数据内容相同的内存页。
NUMA亲和性调度
虚拟机HA、虚拟机热迁移
动态资源调度
DPM分布式电源管理
IMC
设置集群的IMC策略,使虚拟机可以在不同CPU类型的主机之间进行迁移。
IMC可以确保集群内的主机向虚拟机提供相同的CPU功能集,即使这些主机的实际CPU不同,也不会因CPU不兼容而导致迁移虚拟机失败。
设置集群IMC策略时,如果集群中有主机或虚拟机,则必须满足下面的条件:
集群下主机的CPU功能集必须等于或高于设置的目标基准功能集。
集群下运行或休眠状态的虚拟机CPU功能集必须等于或低于目标基准功能集。如果存在不满足条件的虚拟机,需要将该虚拟机关机或迁移出该集群后设置
规则组
聚集虚拟机:列出的虚拟机必须在同一主机上运行。
互斥虚拟机:列出的虚拟机必须在不同主机上运行
虚拟机到主机:虚拟机组的成员是否能在特定主机组的成员上运行。
三、FusionCompute存储虚拟化管理
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FmTJAQeQ-1629345168604)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629213659313.png)]
FusionSphere 存储虚拟化技术定位于构建针对电信业务环境的高竞争力的虚拟化平台,通过对开源kvm进行安全加固、功能扩展、性能优化和可靠性保障,具备如下特点:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BmBLba25-1629345168604)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629213809549.png)]
FusionSphere存储虚拟化平台主要由文件系统、磁盘驱动和磁盘工具组成。SAN设备和本地磁盘等块设备连接到服务器上后,经过设备驱动层和通用块层后,对主机呈现一个磁盘设备。
文件系统建立在主机能够访问的存储设备上,创建文件系统的过程就是主机对存储设备执行格式化,在存储设备上写入文件系统的元数据和inode信息,建立文件到裸设备块的映射,并负责裸设备块的管理,包括空间分配和释放。对于虚拟化来说,文件系统屏蔽了块层的操作,提供了文件级的抽象操作。虚拟机磁盘就是放在文件系统中的文件。
虚拟机磁盘在使用时,需要由磁盘驱动挂载给虚拟机,并通过QEMU管理起来,用户虚拟机的所有读写IO都会由前端驱动截获,转发给QEMU进程,并转换为用户态驱动的读写操作,最终写入磁盘文件中。
虚拟机磁盘中包含了属性信息和数据区域,磁盘工具提供了一系列对虚拟机磁盘的操作,可以解析磁盘文件的文件头,读取或修改磁盘的属性信息,创建磁盘的数据区等操作。
2、VIMS虚拟集群存储文件系统
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R2M1gEvk-1629345168604)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629214055028.png)]
一个VIMS卷同时被多个CNA节点挂载,因此每个CNA节点都可以访问VIMS卷上的文件。为保证多节点读写同一文件的数据一致性,VIMS需要实现分布式文件锁。VIMS的DLM(Distribute lock manager)模块负责实现分布式文件锁,它提供集群概念上的锁服务,调用者通过DLM保证集群间的同步要求。
VIMS采用分布式全对称锁机制。在VIMS中有多个资源管理者(master),每个master只对应一个锁资源。不同的master并不会集中在同一个节点上,无管理中心节点。
正常情况下成为某个锁资源的master方式有两种:
当节点发生故障时,此节点负责管理的资源会重新选举出master。
VIMS存在两种心跳,磁盘心跳用于检测主机是否可以正常读写共享存储,网络心跳用于检测主机间网络通信是否正常。作为集群文件系统,挂载了VIMS卷的CNA节点从来都不是单独的个体,作为集群节点成员之一,通过网络心跳确保与其它节点进行正常的网络通信。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Se0RKlJk-1629345168605)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629214250018.png)]
普通磁盘创建时大小与虚拟磁盘大小相同,并将文件所有位置填0,占用空间较大,置备时间较长。创建时进行全空间分配和置零操作,能够提供最好的性能体验和数据安全性。适用于对IOPS要求较高的场景。该磁盘创建所需时间会比创建其他类型的磁盘长。
普通延迟置零卷创建时大小与虚拟磁盘大小相同,但不会进行填0操作,占用空间较大,置备时间较普通卷短。
该磁盘用于FusionSphere系统中的普通延迟置零磁盘,可以提高存储设备的利用率。普通延迟置零磁盘创建很快,创建时进行全空间分配,但未进行全置零动作,性能较普通磁盘有所下降。适用于对发放速度要求高,但对IOPS要求不高的场景。
精简磁盘创建时大小为0,精简磁盘创建时含少量元数据信息,大小一般为几十K,创建时间均非常短。随着用户写入数据,精简磁盘的大小与实际占用空间将逐步增加。
该磁盘用于FusionSphere系统中的精简磁盘,可以提高存储设备的利用率。精简磁盘使用动态磁盘技术,可以节省存储空间。该磁盘在创建时不进行空间分配,而是在用户IO写入磁盘文件时才进行空间动态分配,性能较普通磁盘有所下降。适用于用户对存储需求不明确,或是规划的容量比实际使用的容量多的场景。
差分磁盘必须基于一个已有的父磁盘来创建,它只记录相对于父磁盘的差异数据,包括数据的增改,差分磁盘不能脱离父磁盘而存在,如果父磁盘进行了修改,则差分磁盘的数据将不再可用。
该磁盘用于FusionSphere系统中的快照、非持久化磁盘、链接克隆等功能,起到保护源盘不再被修改,并可以跟踪虚拟机磁盘差异数据的作用。
对差分磁盘进行读操作,会首先读取差分磁盘中的数据区域,如果不存在,则表示该数据区域未被修改,则通过文件头的索引找到父磁盘,在对该区域进行读取。对差分磁盘进行写操作时,则直接写在差分磁盘上。
差分磁盘的结构和动态磁盘完全一致,文件头中会记录父磁盘的路径,数据区只记录和父磁盘差异数据,大小也会随着数据的写入而自动增长。
(5)持久化磁盘与非持久化磁盘
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-apAK6YYP-1629345168605)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629215141372.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jABkIANM-1629345168606)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629215220666.png)]
FusionSphere提供了虚拟机磁盘的冷迁移和热迁移,冷迁移是在虚拟机关机时候,将其磁盘文件从一个存储移动到另一个存储,热迁移可以在不中断业务的前提下,将虚拟机磁盘从一个存储迁移至另一个存储。热迁移的技术原理如下 :
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lYLWAeAI-1629345168606)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629215313483.png)]
RDM为虚拟机提供了一种机制来直接访问物理存储子系统(仅限光纤通道或iSCSI)上的LUN,通过使用物理设备映射,可以让虚拟机识别SCSI磁盘
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ddcLNhze-1629345168606)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629215445082.png)]
FusionCompute提供了存储扩容的类型有虚拟卷扩容和数据存储扩容。
FusionCompute支持在离线或在线状态下对磁盘的容量扩充,对于普通磁盘,会将数据区域进行扩充,并进行写零。对于普通延时置零磁盘,会将数据区域进行扩容,并进行空间预占。对于精简磁盘,仅对数据区域进行扩容。
数据存储扩容使得一个数据存储可以管理多个物理LUN空间,当需要扩容数据存储时,可以通过添加另外的物理LUN至数据存储或者对物理LUN进行扩容再扩容数据存储,从而实现对数据存储灵活地进行空间扩容,有效提高数据存储扩展性。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z62ds71f-1629345168607)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629215853897.png)]
实验:
实验步骤:
1、准备存储资源(存储管理员)
NFS Server模拟存储资源
使用ubantu
sudo apt install nfs-kernel-server -y
sudo apt install vim -y
mkdir nfs
chmod 777 nfs/
#创建共享文件夹
sudo vim /etc/exports
/home/huawei/nfs * (rw,sync)
sudo systemctl restart nfs-kernel-server.server
sudo systemctl enable nfs-kernel-server
showmount -e
2、添加存储接口(可选,存储平面和管理平面是否隔离)
IP-SAN、NAS、FusionStorage需要添加存储接口
管理网络和存储网络不能互通
3、添加存储资源
4、管理主机
5、扫描存储设备
6、添加数据存储
IP-SAN存储--格式化VIMS
NAS存储--不需要格式化,本身具有文件系统
物理硬件存储:HuaweiOcanStor
存储在使用时,会配置IP以及License,对于一个高可用的网络会存在双活以及使用光纤交换机。
1、登录web页面,导入并激活(激活License与存储的序列号相匹配)。也可以通过后台进行执行。
2、创建硬盘域–>创建存储池(选择Raid模式、Raid5、Raid6根据使用情况进行选择)–>创建LUN(名称:XXLun;描述:XXX;可用硬盘域:选择之前创建的硬盘域;Raid:选择raid级别;容量:XXGB;数量:XXX)——>加入Lun组
创建主机信息:创建主机名称;选择操作系统;加入主机组;映射主机组与LUN
存储上随意命名的主机名,问题:他对应的时哪一台物理主机?
如何实现Host1逻辑主机与物理主机关联???
通过物理主机的FC光纤卡上的WWPN(16进制的号码),选择“主机”-增加启动器-选择启动器类型为FC-选择对应的WWPN号
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fmkAukJL-1629345168607)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629255029012.png)]
为保证高可用性,可进行端口绑定,选择"端口"-“以太网接口”-“端口”-“属性”-配置IP地址。注意:尽可能保证管理网络与存储网络隔离
在客户机使用iscsi程序,IQN(ISCSI完整名称)
在存储上的主机-主机启动器上发现客户机的IQN-添加启动器-返回客户机即可。
总结:
存在WEB界面管理和命令行管理方式,主要使用方式为将连接服务器的端口与存储的端口划分到同一zone,实现服务器连接到存储。
端口可以复用,比如:端口1(存储)和端口2(CNA1)划分为zone1,端口1(存储)和端口3(CNA2)划分为zone2。端口2与端口3隔离,端口1与端口2、3互通。在此划分后,配置并不生效,只要在config应用后,配置的zone生效。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sUgLRcbZ-1629345168608)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629270795726.png)]
一个接口划分多个zone;
冗余:两个光纤交换机,分别与主机的光纤卡连接。
大Zone:存储的A控连接的光纤交换机(1口)与所有需要连接的服务器发起端划分在同一个Zone内,存储的B控连接的光纤交换机(2口)与所有需要连接的服务器发起端划分在同一个Zone内。
小Zone:每个需要连接存储的服务器发起段与交换机连接存储的AB控进行单独划分,需要提前规划。
记录连接到每个交换机的服务器的WWPN,创建zone。
缺点:初次创建时麻烦,当光纤卡出现问题时,需要重新创建zone。
优化:在初次创建时可以采用别名设置 ,创建zone。
windows扫描发现;
Linux命令发现:
###RHEL5:echo --- >/sys/class/scsi_host/hostx/scan
###RHEL6:通过从小加载光纤卡驱动发现设备
modeprobe -r qla2XXX
modeprobe qla2XXX
##查看wwnn和WWPN
cat /sys/class/fc_host/hostx/node_name
cat /sys/class/fc_host/hostx/port_name
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oBxuBbOw-1629345168608)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\1629273715596.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4kWNGqd1-1629345168608)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\产业发展知识产权智能分析系统-内网示意图.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4gKumS40-1629345168609)(C:\Users\admin\Desktop\华为认证培训\HCIA云计算\笔记思维导图\互联网存储区拓扑逻辑图.png)]
windows扫描发现;
Linux命令发现:
###RHEL5:echo --- >/sys/class/scsi_host/hostx/scan
###RHEL6:通过从小加载光纤卡驱动发现设备
modeprobe -r qla2XXX
modeprobe qla2XXX
##查看wwnn和WWPN
cat /sys/class/fc_host/hostx/node_name
cat /sys/class/fc_host/hostx/port_name
[外链图片转存中…(img-oBxuBbOw-1629345168608)]
[外链图片转存中…(img-4kWNGqd1-1629345168608)]
[外链图片转存中…(img-4gKumS40-1629345168609)]