AWS云平台系列介绍（一）：AWS平台与EC2介绍

作者: Chuanhui | 可以转载， 但必须以超链接形式标明文章原始出处和作者信息及版权声明
本文链接地址: http://www.nosqlnotes.net/archives/250

AWS整体介绍

Amazon平台的产品分为几个部分：

• 计算类：包含弹性计算云（EC2）和弹性MapReduce（Elastic MapReduce）这两个产品。EC2几乎可以认为是迄今为止云计算领域最为成功的产品，通俗地将，就是提供虚拟机。EC2的创新在于允许用户根据需求动态改变虚拟机实例的类型及数量，技术上支持容错并在收费模式上支持按使用量付费，而不是预付费。弹性MapReduce将Hadoop MapReduce搬到云环境中，大量EC2实例动态地成为执行大规模MapReduce计算任务的工作机。
• 存储类：存储类产品较多，包括弹性块存储EBS，简单消息存储SQS，Blob对象存储S3，表格存储系统Simpledb和DynamoDB以及分布式数据库系统RDS。其中，EBS相当于一个分布式块设备，可以直接挂载在EC2实例上，用于替代EC2实例本地存储，从而增强EC2可靠性。另外，S3中的Blob对象能够通过CloudFront缓存到不同地理位置的CDN节点，从而提高访问性能。Simpledb和DynamoDB是分布式表格系统，支持单表的简单操作；RDS是分布式数据库，目前支持Mysql以及Oracle两种数据库。SQS主要用于支持多个任务之间的消息传递，解除任务之间的耦合。
• 工具支持：AWS支持多种开发语言，提供Java、Rupy、Python、PHP、Windows &.NET 以及Android和iOS的工具集。工具集中包含各种语言的SDK，程序自动部署以及各种管理工具。另外，AWS通过CloudWatch系统提供丰富的监控功能。

AWS平台引入了区域（Zone）的概念。它将区域分为两种：地理区域（Region Zone）和可用区域（Availability Zone），其中地理区域是按照实际的地理位置划分的，而可用区域一般是按照数据中心划分的。

如上图，假设用户的网站MyWebSite.com托管在AWS平台的某个可用区域中。用户将Web应用上传到EC2实例中，EC2一般分成多个自动扩展（Auto Scaling）组，并通过弹性负载均衡（Elastic Load Balancing）组件进行负载均衡。用户的Web应用可以访问AWS平台上的存储类服务，包括EBS，S3，Simpledb，DynamoDB，RDS以及SQS。网站上的Blob数据，如视频，图片将通过DNS定位到Amazon CloudFront。CloudFront首先在本地缓存节点查找Blob对象，如果不存在，将请求源站获取S3中存储的Blob对象，这一步操作称为回源。AWS CloudWatch对AWS平台上运行的所有服务及应用程序进行监控。

Amazon EC2

相比传统的虚拟机托管，EC2的最大特点是允许用户根据需求动态调整运行的实例类型和数量，实现按需付费。为了支持这种灵活性，EC2需要在技术上支持容错以及更好的安全性。

架构

Amazon EC2平台主要包含如下部分：

• EC2实例

AMI（Amazon Machine Image）是Amazon虚拟机镜像文件，它是一个可以将用户的应用程序、配置等一起打包的加密机器镜像。用户创建好AMI后，部署在EC2平台上运行，称为一个EC2实例。每个实例自身包含一个本地存储模块（Instance Local Store），临时存放用户数据。如果EC2实例运行过程中出现故障或者实例被终止，存储在其中的数据将会丢失。因此，Amazon建议将重要的数据保存在EBS中以增强可靠性。

• 弹性块存储

弹性块存储（EBS）映射为EC2实例上的块设备，与EC2配合使用。EBS允许用户创建卷（Volume），每个卷可以作为一个设备挂载到EC2实例上。数据在EBS中存储多份，从而保证高可靠性。另外，EBS提供了增量快照功能，可以将当前卷的状态快照增量备份到S3中。假设EBS卷有100G数据，其中只有5GB的数据从上次快照操作以后产生了变化，那么，仅仅需要将这5GB变化的数据备份到S3。

• 弹性负载均衡

弹性负载均衡自动地将流量分发给多个EC2实例，并且在一定程度上支持容错。弹性负载均衡功能可以识别出应用实例的状态，当某个实例出现故障时，它会自动将流量路由到健康的实例上。

EC2存储

EC2本地存储是实例自带的磁盘空间，但它并不是持久的，也就是说这个实例所在的节点出现故障时，相应的磁盘空间也会随之清空，本地存储上的数据随时有丢失的风险。

为了解决本地存储不可靠问题，EC2推出了EBS，数据在EBS中自动在同一个可用区域内复制多份。EBS通过卷来组织数据，每个EBS卷只能挂载到一个EC2实例。EBS卷并不与实例绑定，而是与用户帐号绑定。当EC2实例发生故障时，用户可以在新启动的EC2实例上重新挂载EBS卷。另外，EBS能够以快照的形式将数据增量备份到S3，而S3的数据分布在多个可用区域，进一步增强了可靠性。EBS的设计原理如下：

如上图，EBS包含两个部分：EBS控制层（EBS control plane）及EBS存储节点。EBS客户端通过EBS control plane创建逻辑卷，获取逻辑卷每个副本所在的EBS存储节点位置，然后请求EBS存储节点读写逻辑卷数据。每个逻辑卷存储在多个EBS节点上，多个副本之间数据强同步，其中有一个副本为Primary，其它的为Secondary。当Primary往Secondary传输数据失败时，将请求EBS control plane选取新的EBS节点增加副本，这个过程称为重新镜像（re-mirroring）。EBS control plane负责每个逻辑卷的Primary副本选取，如果Primary出现故障，将选择某个Secondary副本为新的Primary。EC2实例通过EBS客户端访问EBS系统，它们之间遵守一定的协议，比如网络块设备（Network Block Device，NBD）协议，从而EC2实例访问远程EBS节点上的逻辑卷与访问本地的块设备没有差别。

自动缩放

自动缩放（Auto Scaling）可以根据用户自定义的条件，自动调整EC2的计算能力。多个EC2实例组成一个自动缩放组（Auto Scaling Group），当组内的实例负载过高，比如CPU平均使用率超过70%时，可以定义缩放规则自动增加EC2实例；同样地，当组内的实例负载过低时，可以自动缩小EC2实例规模以降低成本。

EC2根据计算能力将实例分为多种类型，如下表：

资源	Small	Large	Extra Large	High-CPU Medium	High-CPU Extra Large
平台	32位	64位	64位	64位	64位
CPU	1ECU	4ECU	8ECU	5ECU	20ECU
内存	1.7GB	7.5GB	15GB	1.7GB	7GB
存储容量	160GB	850GB	1690GB	350GB	1690GB

EC2的一个计算单元称为一个ECU（EC2 Compute Unit），其计算能力相当于1个1.0GHz 2007 Xeon处理器。EC2平台不支持虚拟机实例在线迁移，如果用户需要调整实例类型，EC2内部实现时逻辑上分为两步：a) 终止原有的EC2实例；b) 根据一定的策略（比如负载）动态选择新的服务器节点启动新的EC2实例。自动缩放功能一般会配合弹性负载均衡功能一起使用，弹性负载均衡组件能够自动将流量转发给新实例。

网络路由

通过自动缩放技术，当EC2平台检测到某个实例出现故障时，将动态选择新的节点启动新实例，每个实例重新启动后它的公共IP地址都会发生变化。Internet用户通过域名访问EC2实例，然而，需要一段比较长的时间才能更新公共IP地址与DNS之间的映射关系。为了解决这个问题，EC2提供了两种方式：

1. 弹性负载均衡：EC2新实例重启后通知弹性负载均衡组件，弹性负载均衡组件能够自动将流量切换到新实例。
2. 弹性IP地址：弹性IP地址和用户账号而不是和某个特定的实例绑定，EC2用户可以将DNS域名设置为指向弹性IP地址。新实例启动时，EC2用户只需要使用管理工具将弹性IP地址与新的实例关联起来，Internet用户感觉不到任何差异。