学科前沿技术作业九

了解Amazongoogle、IBM、microsoft云计算主要平台及特点

（1）Amazon

技术特性：弹性虚拟平台

核心技术：虚拟化技术Xen

企业服务：EC2、S3，SimpleDB、SQS

     Amazon是互联网上最大的在线零售商，也是业界最早提供远程云计算平台服务的公司。2006年推出的新一代主机租赁服务，为独立软件开发人员以及开发商提供云计算服务平台，并得到了快速发展将他们的云计算平台称为弹性计算云

（2）Google的云计算技术实际上是针对Google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点，Google提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问题。

　　从2003年开始，Google连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文，揭示其内部的分布式数据处理方法，向外界展示其使用的云计算核心技术。从其近几年发表的论文来看，Google使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括Google建立在集群之上的文件系统Google File System，针对Google应用程序的特点提出的Map/Reduce编程模式，分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。

Google File System 文件系统

　　为了满足Google迅速增长的数据处理需求，Google设计并实现了Google文件系统(GFS，Google File System)。GFS与过去的分布式文件系统拥有许多相同的目标，例如性能、可伸缩性、可靠性以及可用性。然而，它的设计还受到Google应用负载和技术环境的影响。主要体现在以下四个方面:

1. 集群中的节点失效是一种常态，而不是一种异常。由于参与运算与处理的节点数目非常庞大，通常会使用上千个节点进行共同计算，因此，每时每刻总会有节点处在失效状态。需要通过软件程序模块，监视系统的动态运行状况，侦测错误，并且将容错以及自动恢复系统集成在系统中。

2. Google系统中的文件大小与通常文件系统中的文件大小概念不一样，文件大小通常以G字节计。另外文件系统中的文件含义与通常文件不同，一个大文件可能包含大量数目的通常意义上的小文件。所以，设计预期和参数，例如I/O操作和块尺寸都要重新考虑。

3. Google文件系统中的文件读写模式和传统的文件系统不同。在Google应用(如搜索)中对大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。对文件的随机写是几乎不存在的。对于这类巨大文件的访问模式，客户端对数据块缓存失去了意义，追加操作成为性能优化和原子性(把一个事务看做是一个程序。它要么被完整地执行，要么完全不执行)保证的焦点。

4. 文件系统的某些具体操作不再透明，而且需要应用程序的协助完成，应用程序和文件系统API的协同设计提高了整个系统的灵活性。例如，放松了对GFS一致性模型的要求，这样不用加重应用程序的负担，就大大简化了文件系统的设计。还引入了原子性的追加操作，这样多个客户端同时进行追加的时候，就不需要额外的同步操作了。

总之，GFS是为Google应用程序本身而设计的。据称，Google已经部署了许多GFS集群。有的集群拥有超过1000个存储节点，超过300T的硬盘空间，被不同机器上的数百个客户端连续不断地频繁访问着。

（3）规划是构建云计算解决方案重要的第一步。在规划时，需要对当前数据中心资产和运行流程创建完整的文档，需要描述数据中心中现有的设备之间的关系并考虑如何部署未来的新设备。

由于环境十分复杂，企业会指派不同的人员维护数据中心中不同的数据。需要了解所有不同角色与数据中心设备之间的交互过程，角色之间责任重叠。企业的高层决策者需要参与整个计划的过程并做出决策。

数据中心的完整资产信息

数据中心中包括大量的服务器和设备，首先需要收集这些硬件资产的信息，以及这些资产之间的关系。资产之间的关系对于计划非常重要。这里举例来看一个服务器和网络之间的关系：

通过一个逻辑定义的 IP 地址访问服务器

必须在操作系统中定义一个网络接口才能定义 IP 地址

服务器中必须有一个物理网卡来支持操作系统中定义的网络接口

网卡具有特定的属性，例如 MAC 地址，用来通过物理链路和数据中心内的其他设备连接

网卡必须连接到交换机的一个端口上

交换机也拥有自己的关系，例如端口属于哪一个模块，交换机之间的连接关系

上述的资产信息需要被收集起来。图 5-9 展示了一个数据中心的例子：

绘制业务数据流

在将设备逻辑关系文档化后，为了确定可以实现自动化部署的部分，正确理解配置这些设备的流程非常重要。另外了解设备在业务功能上的用途也很重要。根据这些信息，我们基本可以确定数据中心的基础构架，例如路由器、交换机、数据库服务器和负载均衡器这些设备的变动比较少，而且配置方式比较特殊，因此不适合使用自动化部署。而应用服务器通常使用相同的硬件并且经常发生变动，根据我们收集的信息分析来看比较适合使用自动化部署。下图是一个业务数据流的例子：

自动化部署完成后，可以在没有人工干预的情况下将一台服务器从裸机开始到操作系统部署到应用部署完成，而后还能够将这台新的应用服务器加入应用服务器群集，并开始对外提供服务。

了解手工部署流程

将数据中心设备当前的结构和使用情况文档化后，还要将管理数据中心的 IT 流程文档化。这样就可以将设备从抵达到进入数据中心需要进行的工作整理为一个步骤列表。这个列表包括上架和接电等手工步骤以及可以融入自动化管理平台的自动化步骤。部署流程通常是跨组织角色的，并且应该和现有的自动化技术结合组成完整的解决方案。

通过这种文档化之后，你就可以理解一个数据中心的那些部分可以使用自动化管理。每个组织在实施自动化管理时有一套独特的步骤，并且每个步骤都有不同的需求，因此这样的自动化管理平台并不是一成不变就可以解决所有问题的。针对每个用户不同的环境、不同的流程，我们都需要对这个云计算平台进行定制化。这样才能满足不同用户的需求。

组织结构

自动化部署涉及到很多复杂的步骤，包括物理基础架构、操作系统、网络基础架构、应用程序部署、监控、项目管理以及和其他部门的协调。一般日常的服务器部署不需要和其他部门协调就可以完成，除非存在组织上的、安全上的或其他方面的原因。

在很多组织中，架构中很多部分被认为对业务是非常关键的。例如，网络架构部门需要满足网络可用性以及变更管理和安全性问题的服务级别协议。而云计算平台通常需要改变 IT 文化，要更好的使用这个平台，就需要将组织中的每个部门都融入到其中。

标准化

很多组织的 IT 环境都是异构的，这使云计算平台的实施变得更加复杂。因此最好的方法就是数据中心的设备都使用标准的硬件配置，使硬件类型最少化。例如针对应用程序服务器层，使用统一的硬件平台可以减少对每台服务器的手动配置的工作量。

和当前的自动化流程整合

很多组织都已经在 IT 基础构架的不同层次使用了自动化部署，例如启动服务器、软件分发包、系统管理软件和用来运行日常任务的定制化脚本等技术。但是这些自动化技术都是针对于某一个子系统或者局部的，在部署整个系统的过程中还是需要很多的人工介入来完成。云计算平台并不会完全替代现有的这些技术，而是依赖于这些自动化技术和流程来实现更高层次的、全局性的自动化管理。

在本文中，我们从当前 IT 的发展现状出发，结合 IBM 2008 全球 CEO 调查结果，分析了全球企业所面临和急待解决的问题，讨论了相应的应对方法 --- 建设全新企业级数据中心（NEDC）的必要性，并介绍了 NEDC 的概念，特征及其发展阶段。在明确了 IT 优化在 NEDC 建设过程中所起到的作用之后，我们分别针对进行 IT 优化需要采用的四个架构模式 --- “物理整合”、“虚拟化”、“灵活的 IT ”和“将 IT 作为服务”，从技术上进行了深入浅出的探讨。

我们介绍这些概念和方法之目的在于帮助读者了解如何通过对 IT 资源的优化，迈进全新企业级数据中心的发展历程。这些通用的方法适用于不同的企业环境，但是由于每个企业的环境和起点不同，企业需要根据自身的情况，设计和规划各自的发展计划，制定符合企业现状和发展方向的蓝图，通过 IT 优化实现高效、环保、坚实可靠、迅速响应业务需求并推动业务发展的全新的数据中心。

（4）microsoft

技术特性：整合其所用软件及数据服务

核心技术：大型应用软件开发技术

企业服务：Azure平台

开发语言：.NET

      Microsoft Live Mesh目的在于为用户提供应用和数据的网络存储，用户可以随时随地使用终端设备通过网络访问。这需要用户使用基于Web的Live Desktop或者在自己的设备上安装Live Mesh软件。Live Mesh中所有数据的传输通过SSL保护。