云计算技术的概念、原理

一、云计算的概念

       

云计算（Cloud Computing）是由分布式计算（Distributed Computing）、并行处理（Parallel Computing）、网格计算（Grid Computing）发展来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断的发展变化，云计算没仍没有普遍一致的定义。

中国网格计算、云计算专家刘鹏给出如下定义：“云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务”。

狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意。

广义的云计算指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等。

通俗的理解是，云计算的“云“就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU等）和软件资源（如应用软件、集成开发环境等），本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机，这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群来完成。

二、典型云计算平台介绍

由于云计算技术范围很广，目前各大IT企业提供的云计算服务主要根据自身的特点和优势实现的。下面以Google、IBM、Amazon为例说明：

（1）Google 的云计算平台

Google的硬件条件优势，大型的数据中心、搜索引擎的支柱应用，促进Google云计算迅速发展。Google的云计算主要由MapReduce、Google文件系统(GFS)、BigTable组成。它们是Google内部云计算基础平台的3个主要部分。Google 还构建其他云计算组件，包括一个领域描述语言以及分布式锁服务机制等。Sawzall是一种建立在MapReduce基础上的领域语言，专门用于大规模的信息处理。Chubby是一个高可用、分布式数据锁服务，当有机器失效时，Chubby使用Paxos算法来保证备份。

（2）IBM“蓝云”计算平台

“蓝云”解决方案是由IBM云计算中心开发的企业级云计算解决方案。该解决方案可以对企业现有的基础架构进行整合，通过虚拟化技术和自动化技术，构建企业自己拥有的云计算中心，实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，从而帮助企业实现云计算理念。

IBM 的“蓝云”计算平台是一套软、硬件平台，将Internet上使用的技术扩展到企业平台上，使得数据中心使用类似于互联网的计算环境。“蓝云”大量使用了IBM先进的大规模计算技术，结合了IBM自身的软、硬件系统以及服务技术，支持开放标准与开放源代码软件。

“蓝云”基于IBM Almaden研究中心的云基础架构，采用了Xen和PowerVM虚拟化软件，Linux操作系统映像以及Hadoop软件(Google File System以及MapReduce的开源实现)。IBM已经正式推出了基于x86芯片服务器系统的“蓝云”产品。下图为IBM “蓝云”的架构：

由图可知，“蓝云”计算平台由一个数据中心、IBM Tivoli部署管理软件(Tivoli provisioning manager)、IBM Tivoli监控软件(IBM Tivoli monitoring)、IBM WebSphere应用服务器、IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成。“蓝云”的硬件平台环境与一般的x86服务器集群类似，使用刀片的方式增加了计算密度。“蓝云”软件平台的特点主要体现在虚拟机以及对于大规模数据处理软件Apache Hadoop的使用。

“蓝云”平台的一个重要特点是虚拟化技术的使用。虚拟化的方式在“蓝云”中有两个级别，一个是在硬件级别上实现虚拟化，另一个是通过开源软件实现虚拟化。硬件级别的虚拟化可以使用IBM p系列的服务器，获得硬件的逻辑分区LPAR(logic partition)。逻辑分区的CPU资源能够通过IBM Enterprise Workload Manager来管理。通过这样的方式加上在实际使用过程中的资源分配策略，能够使相应的资源合理地分配到各个逻辑分区。p系列系统的逻辑分区最小粒度是1/10颗CPU。Xen则是软件级别上的虚拟化，能够在Linux基础上运行另外一个操作系统。

虚拟机是一类特殊的软件，能够完全模拟硬件的执行，运行不经修改的完整的操作系统，保留了一整套运行环境语义。通过虚拟机的方式，在云计算平台上获得如下一些优点：

1)云计算的管理平台能够动态地将计算平台定位到所需要的物理节点上，而无须停止运行在虚拟机平台上的应用程序，进程迁移方法更加灵活；

2)降低集群电能消耗，将多个负载不是很重的虚拟机计算节点合并到同一个物理节点上，从而能够关闭空闲的物理节点，达到节约电能的目的；

3)通过虚拟机在不同物理节点上的动态迁移，迁移了整体的虚拟运行环境，能够获得与应用无关的负载平衡性能；

4)在部署上也更加灵活，即可以将虚拟机直接部署到物理计算平台上，而虚拟机本身就包括了相应的操作系统以及相应的应用软件，直接将大量的虚拟机映像复制到对应的物理节点即可。

“蓝云”计算平台中的存储体系结构：“蓝云”计算平台中的存储体系结构对于云计算来说也是非常重要的，无论是操作系统、服务程序还是用户的应用程序的数据都保存在存储体系中。“蓝云”存储体系结构包含类似于Google File System 的集群文件系统以及基于块设备方式的存储区域网络SAN。

在设计云计算平台的存储体系结构时，可以通过组合多个磁盘获得很大的磁盘容量。相对于磁盘的容量，在云计算平台的存储中，磁盘数据的读写速度是一个更重要的问题，因此需要对多个磁盘进行同时读写。这种方式要求将数据分配到多个节点的多个磁盘当中。为达到这一目的，存储技术有两个选择，一个是使用类似于Google File System的集群文件系统，另一个是基于块设备的存储区域网络SAN系统。

在蓝云计算平台上，SAN 系统与分布式文件系统(例如Google File System)并不是相互对立的系统，SAN提供的是块设备接口，需要在此基础上构建文件系统，才能被上层应用程序所使用。而Google File System正好是一个分布式的文件系统，能够建立在SAN之上。两者都能提供可靠性、可扩展性，至于如何使用还需要由建立在云计算平台上的应用程序来决定，这也体现了计算平台与上层应用相互协作的关系。

（3）Amazon的弹性计算云

Amazon是互联网上最大的在线零售商，为了应付交易高峰，不得不购买了大量的服务器。而在大多数时间，大部分服务器闲置，造成了很大的浪费，为了合理利用空闲服务器，Amazon建立了自己的云计算平台弹性计算云EC2（elastic compute cloud），并且是第一家将基础设施作为服务出售的公司。

Amazon将自己的弹性计算云建立在公司内部的大规模集群计算的平台上，而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例(instance)。用户使用实例的付费方式由用户的使用状况决定，即用户只需为自己所使用的计算平台实例付费，运行结束后计费也随之结束。这里所说的实例即是由用户控制的完整的虚拟机运行实例。通过这种方式，用户不必自己去建立云计算平台，节省了设备与维护费用。

弹性计算云用户使用客户端通过SOAP over HTTPS协议与Amazon弹性计算云内部的实例进行交互。这样，弹性计算云平台为用户或者开发人员提供了一个虚拟的集群环境，在用户具有充分灵活性的同时，也减轻了云计算平台拥有者(Amazon公司)的管理负担。弹性计算云中的每一个实例代表一个运行中的虚拟机。用户对自己的虚拟机具有完整的访问权限，包括针对此虚拟机操作系统的管理员权限。虚拟机的收费也是根据虚拟机的能力进行费用计算的，实际上，用户租用的是虚拟的计算能力。

总而言之，Amazon通过提供弹性计算云，满足了小规模软件开发人员对集群系统的需求，减小了维护负担。其收费方式相对简单明了：用户使用多少资源，只需为这一部分资源付费即可。

为了弹性计算云的进一步发展，Amazon规划了如何在云计算平台基础上帮助用户开发网络化的应用程序。除了网络零售业务以外，云计算也是Amazon公司的核心价值所在。Amazon将来会在弹性计算云的平台基础上添加更多的网络服务组件模块，为用户构建云计算应用提供方便。