H3C数据中心虚拟化解决方案技术白皮书

缩略语清单：

缩略语	英文全名	中文解释
IDC	Internet Data Center	互联网数据中心
VRF	Virtual Router Forwarding	虚拟路由器转发
SMP	Symmetrical Multi-Processing	对称多处理
SNIA	Storage Networking Industry Association	存储网络工业协会
TCO	Total Cost of Ownership	总拥有成本
ROI	Return on Investment	投资回报

 

1  技术背景

随着社会生产力的不断发展，用户需求不断发展提高，市场也不断发展变化，谁能真正掌握市场迎合用户，谁就能够占领先机提高自己的核心竞争力。企业运营中关键资讯传递的畅通可以帮助企业充分利用关键资源，供应链、渠道管理，了解市场抓住商机，从而帮助企业维持甚至提高其竞争地位。作为网络数据存储和流通中心的企业数据中心，很显然拥有企业资讯流通最核心的地位，越来越受到企业的重视。当前各个企业/行业的基础网络已经基本完成，随着“大集中”思路越来越深入人心，各企业、行业越来越迫切的需要在原来的基础网络上新建自己的数据中心。数据中心设施的整合已经成为行业内的一个主要发展趋势，利用数据中心，企业不但能集中资源和信息加强资讯的流通以及新技术的采用，还可以改善对外服务水平提高企业的市场竞争力。一个好的数据中心在具有上述好处之外甚至还可以降低拥有成本。

1.1  虚拟化简介

在数据大集中的趋势下，数据中心的服务器规模越来越庞大。随着服务器规模的成倍增加，硬件成本也水涨船高，同时管理众多的服务器的维护成本也随着增加。为了降低数据中心的硬件成本和管理难度，对大量的服务器进行整合成了必然的趋势。通过整合，可以将多种业务集成在同一台服务器上，直接减少服务器的数量，有效的降低服务器硬件成本和管理难度。

服务器整合带来了巨大的经济效益，同时也带来了一个难题：多种业务集成在一台服务器上，安全如何保证？而且不同的业务对服务器资源也有不同的需求，如何保证各个业务资源的正常运作？为了解决这些问题，虚拟化应运而生了。虚拟化指用多个物理实体创建一个逻辑实体，或者用一个物理实体创建多个逻辑实体。实体可以是计算、存储、网络或应用资源。虚拟化的实质就是“隔离”—将不同的业务隔离开来，彼此不能互访，从而保证业务的安全需求；将不同的业务的资源隔离开来，从而保证业务对于服务器资源的要求。

数据中心运行的应用越来越多，但很多应用都相互独立，而且在使用率低下、相关隔绝的不同环境中运行。每个应用都追求性能的不断提高，数据中心拥有多种操作系统、计算平台和存储系统。因此，IT 机构必须提高运行效率，优化数据中心资源的利用率，才能将节省出来的资金用于开展新的盈利型IT 项目。另外，数据中心需要建立永续的基础设施，才能保护各种应用和服务免受各种安全攻击和干扰的危害，才能建立既可以持续改进计算机、存储和应用技术，又能支持不断变化的业务流程的灵活型基础设施。利用整合和虚拟化技术帮助数据中心将计算和存储资源从多个分立式系统转变成可以通过智能网络汇聚、分层、调配和访问的标准化组件，从而为自动化等新兴IT 战略奠定基础。

数据中心资源的整合和虚拟化正在不断发展，这需要高度可扩展的永续安全数据中心网络基础。网络不但能让用户安全访问各种数据中心服务，还能根据需要实现共享数据中心组件的部署、互联和汇聚，包括各种应用、服务器、设备和存储。适当规划的数据中心网络不仅能保护应用和数据完整性，提高应用可用性和性能，还能增强对不断变化的市场状况、业务重要程度和技术先进性的反应能力。

1.2  网络虚拟化简介

1.2.1  网络虚拟化

虚拟化技术可以适用于企业网络核心或是边缘的交换机。如果把一个企业网络分隔成多个不同的子网络――它们使用不同的规则和控制，用户就可以充分利用交换机的虚拟化路由功能，而不是购买及插入新的机架或者设备来实现这种分隔机制。

虚拟化网络概念并不是什么新概念，因为多年来，虚拟局域网（VLAN）技术作为经实践证明切实可靠的一种方法，历来用于在一个以太网交换上或者跨多个交换机来构建安全、独立的局域网网段。而核心机架交换机里面的虚拟化路由功能是可以在第三层分隔企业网络、对内外网络流量提供更多安全和控制的一种类似工具。通过VRF进行隔离在多协议标记交换（MPLS）运营商网络，虚拟路由和转发（VRF）被用于把客户流量分割成独立路由转发的几段流量，这步操作有时在同一个设备上进行。针对企业应用，精简版VRF（一种规模比较小的VRF，不需要MPLS）可以把一个交换机划分成多个虚拟化设备。

1.2.2  MCE（精简版VRF）的原理

根据VPN用户，将MCE路由表划分成几个独立的逻辑实体路由表(virtual route table)；然后根据不同VPN用户占用不同的路由表，并根据独立的路由协议实例在不同的路由表中生成路由项。交换机转发引擎根据报文的-id(如ACL或VLAN+端口)索引不同的路由表，并根据目的IP在其内进行查找，然后将报文加上VPN的标识后经过上行链路转发出去。

图1 MCE原理图

1.3  计算虚拟化简介

1.3.1  计算虚拟化的概念

1. 计算虚拟化的分类

计算虚拟化目前主要有3种不同的类型：

 虚拟主机：大拆小的思想，将一个独立的硬件服务器虚拟成多个逻辑服务器

n         主要产品：VMWare（业界主流产品）、XEN（开源软件，也有商用产品）

n         应用场合：提高服务器资源的利用率。

 虚拟对称多处理（SMP）：小并大的思想，将多个物理机器组成一个易于管理的高性能服务器。

n         主要产品：Virtual Iron、Qlusters、VMware SMP

n         应用场合：充分利用一些便宜的性能低的机器，组合成高性能的计算工具。

 物理计算虚拟化：实现服务器的无状态化，服务器只被看成一个CPU＋内存的资源，服务器与OS、IO设备、存储设备无关。可以实现任意组合。

n         主要产品：CISCO VFrame、Egenera

n         应用场合：实现在异构环境下，计算资源的快速变更与快速部署

 

2. 虚拟主机的概念

什么是虚拟主机? 就是将物理服务器、操作系统、及其应用程序 “打包”为一个档案-可移动的虚拟机(VM)。

图2 计算虚拟化—虚拟主机

简单得讲就是一个物理服务器上运行多个虚拟机， 这些虚拟机共享底层硬件， 从应用的角度看就象是一个物理服务器， 有自己的操作系统，cpu, memory, nic, storage， 虚拟的资源。其实，也就是将物理服务器、操作系统、及其应用程序 “打包”为一个档案, 称为虚拟机(VM)，虚拟机是可移动的，可以提高服务器的利用率；同虚拟机支持操作系统的和数据的备份、实施更加灵活。

图3 虚拟主机对数据中心的整合

 

1.3.2  计算虚拟化的特性

1. 计算虚拟化的特性

n         分区，在单一物理服务器上同时运行多个虚拟机

n         隔离，在同一服务器上的虚拟机之间相互隔离

n         封装，整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机

n         相对于硬件独立，无需修改即可在任何服务器上运行虚拟机

 

2. 计算虚拟化的优势

 虚拟化前

n         每台主机一个操作系统

n         软件硬件紧密地结合

n         在同一主机上运行多个应用程序通常会遭遇沖突

n         系统的资源利用率低

n         硬件成本高昂而且不够灵活

 虚拟化后

n         打破了操作系统和硬件的互相倚賴

n         通过封装到到虚拟机的技术, 管理操作系统和应用程序为单一的个体

n         強大的安全和故障隔离

n         虚拟机是独立于硬件的, 它们能在任何硬件上运行

1.3.3  计算虚拟化的架构

计算虚拟化有两个基本架构，一种是寄居架构（Hosted Architecture），另一种是裸金属架构（”Bare Metal” Architecture）。

1. 寄居架构

图4 虚拟服务器寄居架构

n         优点：简单，便于实现

n         缺点：安装和运行应用程序依赖于主机操作系统对设备的支持

n         举例：GSX Server, VMware Server, Workstation

2. 裸金属架构

图5 虚拟服务器裸金属架构

n         优点：虚拟机不依赖于操作系统，可以支持多种操作系统，多种应用，更加灵活

n         缺点：虚拟层内核开发难度较大

n         举例：VMWare ESX Server

 

2  数据中心虚拟化解决方案

2.1  方案概述

2.1.1  传统的应用孤岛式的数据中心

图8 传统应用孤岛式数据中心

n         扩展性差，当新业务扩展时需要部署专门的网络、计算、存储设施、形成了应用孤岛/竖井

n         资源缺少共享，导致资源利用率低，管理成本复杂

n         分离的环境排除了部署统一服务的可能性，每一套环境必须有分离的安全、优化、备份及容灾机制

2.1.2  虚拟化方案

图9 虚拟化的转变

1. 数据中心虚拟化需要满足下面的目标：

n         降低运行成本

n         扩展性强，新应用的快速部署

n         提供业务的连续性保障

n         提供对资源的安全可靠的访问

 

通过服务器整合，可以满足：

n         数据大集中，将多个数据中心资源集中到少量数据中心

n         提供集中管理、规划和控制

 

通过计算虚拟化，可以满足：

n         改变每种应用资源孤岛模式，建立虚拟资源池，按需逻辑的分配给应用

n         简化管理，提供灵活性，优化资源利用率，降低维护成本

n         支持部署统一的部署策略

 

2. 数据中心虚拟化的需求

目前国内数据中心的主要用户包括：政务、运营商、门户网站、兵工集团等等。这些用户对于数据中心虚拟化有明确的需求，但侧重点各有不同。

n         政府政务中心对数据中心虚拟化的需求－“不同部门对数据中心访问的逻辑隔离”

n         运营商共享容灾方案对虚拟化的需求－“不同客户对相同物理资源访问的逻辑隔离”

n         ICP、门户网站对虚拟化的需求－“服务器资源和存储资源能够共享，并实现业务的快速部署 ”

n         以兵工集团为代表的国防工业系统对虚拟化的需求－“以任务为中心的虚拟化数据中心”

2.1.3  数据中心虚拟化方案架构

数据中心虚拟化分为：网络网虚拟化、计算虚拟化、存储虚拟化 三个环节。

图10 数据中心虚拟化方案架构

n         数据中心网络资源虚拟化

       －－通过数据中心内网络设备的多实例等技术实现

n         数据中心计算资源虚拟化

       －－通过VMWare服务器虚拟机技术实现

n         数据中心存储资源虚拟化

       －－通过IV/IX系列存储交换机的VSAN技术实现

 

2.2  网络虚拟化

单独的实现数据中心的虚拟化是没有意义的，需要在客户机的接入侧、接入端到数据中心的整个数据路径及其数据中心内部均实现虚拟化（含计算虚拟化、存储虚拟化），3个网络功能区域、5个层次上配合，才能实现：数据大集中环境下的，不同业务的、端到端的数据中心应用及其访问的隔离，达到具有完整意义上的业务虚拟化。

端到端虚拟化中，各区域的作用：

l     用户接入隔离：利用EAD方案保证接入用户的合法性，并请能够识别用户的访问权限。

l     广域网隔离：利用MPLS  VPN保证接入用户能够正确访问相应的资源，以及业务数据交换的隔离

l     数据中心虚拟化：通过集中策略管理，保证数据中心、服务器能为相应的合法用户提供服务

图11 数据中心网络虚拟化结构

 

2.3  计算虚拟化

2.3.1  计算虚拟化方案架构

当前对计算虚拟化的需求主要是“提高资源利用率”，在一台服务器中虚拟多台设备。这是“虚拟主机”类计算虚拟软机的主要应用场合。

VMware通过为客户提供服务器整合和数量控制、业务连续性、测试/开发自动化、企业台式机管理等解决方案，从而实现降低成本、提高响应速度、实现零停机、灾难快速恢复等系列好处。通过虚拟架构整合服务器，可以控制x86服务器的蔓延，在一台服务器上运行多个操作系统和应用，并使新的硬件支持老的应用，数据中心撤退旧的硬件。VMware虚拟基础架构使企业能够通过提高效率、增加灵活性和加快响应速度而降低IT成本。管理一个虚拟基础架构使IT能够快速将资源和业务需要连结起来，并对其进行管理。虚拟基础架构可以使x86服务器的利用率从现在的5-15%提高到60-80%，并且在数十秒的时间内完成新应用程序的资源调配，而不需要几天时间。请求响应时间也改为以分钟计算。在维护上，可以实现零停机硬件维护，不需要等待维护窗口。

图12 数据中心计算虚拟化方案

VMWare ESX是VMWare Infrastruture数据中心虚拟化管理套件中的一个组成部分。承上启下，对上解决与网络虚拟化对接问题，对下解决与存储服务器的虚拟化映射问题。

图13 数据中心计算虚拟化方案逻辑拓扑

n         交换机支持链路聚合协议 802.3ad ，可实现链路捆绑，提高链路可靠性。

n         数据中心接入层交换机使用堆叠交换机，可以与ESX虚拟交换机实现跨设备链路聚合，进一步提高链路可靠性。

n         管理网络独立于生产网络，提高管理性能。

n         VMotion网络独立于生产网络和管理网络，便于虚拟机的迁移和备份。

2.3.2  计算虚拟化方案VMware ESX Server的网络组件

图14 VMware ESX Server3 网络架构

VMware ESX Server3的网络架构主要分为3个部分：

n         Virtual Ethernet Adapters，ESX Server3虚拟以太网卡，其作用就是一个以太网卡；

n         Virtual Switch—虚拟化交换机，是ESX Server3网络架构的核心部分；

n         Physical Ethernet Adapters，物理以太网卡，与外部物理网络连接；

2.3.3  虚拟交换机Virtual Switch

1. 虚拟交换机与物理交换机的差异

从功能上来看，虚拟交换机就是一个二层交换机，具备二层交换机所具备一切功能特性。但由于使用场景的特殊性，所以与真正的物理交换机还是有所不同。

最主要的差别就在于ESX Server的多个虚拟交换机居于同一层次的网络上，彼此之间不存在级联要求。这样居于同一层次的交换机之间不存在互通要求，因此虚拟交换机不需要支持STP协议。

2. NIC Teaming

NIC Teaming指的就是一个虚拟交换机与多块物理以太网卡连接的技术，其目的是为了提高系统的可用性，要求支持多链路负载分担和故障保护特性。

 负载分担

NIC Teaming的负载分担支持三种分担算法：

n         虚拟交换机入端口确定上行链路，即根据服务器数据流进入虚拟交换机的端口ID确定采用哪条上行链路。这是缺省负载分担算法，也是使用最广泛的算法。这种算法的特点是，由于虚拟以太网卡与虚拟交换机端口的对应关系是固定的，从指定的虚拟以太网卡输出的数据流会从固定的物理以太网卡上行，除非因为该物理以太网卡出现故障而发生倒换才会改变上行数据流的方向。需要注意的是：如果一台虚拟服务器仅创建了一个虚拟以太网卡，则无法使用NIC Teaming提供的多物理以太网卡负载分担。虚拟服务器必须创建了多个虚拟以太网卡后，才能使用NIC Teaming。

n         源MAC Hash算法确定上行链路。

n         源、目的IP地址 Hash算法确定上行链路。

 故障保护

NIC Teaming发现故障的方式有两种：

n         链路状态检测，仅仅能够发现直连的网络链路异常，包括：链路拔出、物理设备下电等等；但是不能发现配置导致的链路不同，例如：STP阻塞端口、VLAN配置错误等等。

n         路径探测，由物理以太网卡定时向上发送探测报文，根据回应情况确定网络是否可达。

图15 NIC Teaming路径探测流程

2.3.4  VMware ESX Server的虚拟特性规格

VMware  ESX Server网络虚拟特性的规格如下表所列。

设备特性	最大数目
虚拟服务器的虚拟以太网卡	4
物理服务器的虚拟交换机端口	4096
虚拟交换机的端口	1016
物理服务器的虚拟交换机	248
虚拟交换机的上行链路	32
物理服务器的上行链路	32

表1 VMware ESX Server网络虚拟化特性规格

 

3  数据中心虚拟化解决方案的典型组网

3.1  典型组网1

图19 数据中心虚拟化方案典型组网1

1. 逻辑隔离服务器区

n         政务外网或军工集团专网都是通过MPLS VPN（我司推荐方案）、GRE Tunnel等方式将网络延伸到数据中心核心层交换机上，VPN终结在数据中心核心交换机上。

n         数据中心核心交换机做为PE设备

n         数据中心汇聚交换机具备VRF能力，做为MCE，每个VRF实例与一个VPN对应

n         汇聚交换机服务器侧接入支持虚拟化的防火墙，为每一个逻辑隔离区提供安全保护

n         接入层交换机通过VLAN 方式隔离不同逻辑区域的服务器

2. 共享业务服务器区

n         为多个部门访问的服务器在核心交换机PE配置专用的共享服务器VRF

n         共享服务器与有访问需求的VPN交换路由（要求服务器地址唯一）

n         为共享服务器区分配虚拟FW，提供安全访问控制

 

 

4  数据中心虚拟化解决方案应用

目前大中城市政府正在或将要建设城市政务行政中心，将市内大部分政府及相关部门统一迁入政府行政中心办公。在统一部署办公场所的同时需要在行政中心内建设电子政务数据中心，要求实现“不同部门对数据中心访问的逻辑隔离”。

其业务特点：

l         内部独享数据中心，提供给某个部门的独享资源。

l         内部共享数据中心，提供各部门共享资源或部门间的互访资源

l     外部数据中心，提供对公众业务、面向Internet提供服务

l     数据中心的业务弹性：内部独享型数据中心业务、内部共享型数据中心业务的同时、按需部署要求

政务中心内部独享数据中心、内部共享数据中心的业务访问模型如下图：

图21 政务中心DataCenter业务访问模型

5  方案总结

n         通过虚拟存储设备整合数据中心异构环境，包括不同操作平台的服务器和不同厂商不同型号的存储设备。保障了用户的已有投资，降低了用户TCO，实现存储容量的动态扩展，增加了用户的ROI。

n         通过虚拟主机软件提高服务器的利用率，在单台设备上虚拟多台逻辑主机，降低用户TCO

n         通过Mutil-VRF、虚拟防火墙实现对数据中心访问的逻辑隔离，提高资源利用率和系统安全性。