分布式系统建模与关键技术

1、互联网之上的可扩展计算

1、1互联计算机时代

1、1、1平台变革

1950年代起大型机、小型机、个人计算机、便携式计算机

1、1、2高性能计算

HPC（高性能计算）：系统强调系统的原生速度性能

1、1、3高吞吐量计算

HTC（高吞吐量计算系统）：主要应用于被百万以上用户同时使用的互联网搜索和Web服务 

1、1、4三种新计算范式

射频识别、全球定位系统、物联网

1、1、5范式间的区别

集中式计算:

这种计算范式是将所有计算资源集中在一个物理系统之内。所有资源（处理器、内存、存储器）是全部共享的，并且紧耦合在一个集成式的操作系统中。

并行计算：

在并行计算中，所有处理器或是紧耦合于中心共享内存或是松耦合于分布式内存。

分布式计算：

一个分布式系统由众多自治的计算机组成，各自拥有其私有内存，通过计算机网络通信。分布式系统中的信息交换通过消息传递的方式完成。

云计算：

一个互联网云的资源可以是集中式的也可以是分布式的。云采用分布式计算或并行计算，或两者兼有。云可以在集中的或分布式的大规模数据中心之上，由物理的或虚拟的计算资源构建。

普适计算：

是指在任何地点和时间通过有线或者无线网络使用普遍的设备进行计算。

物联网:

是一个日常生活对象（包括计算机、传感器、人等）网络化的连接。物联网通过互联网云实现任何对象在任何地点和时间的普适计算。

互联网计算这一术语几乎涵盖了所有和互联网相关的计算范式。

1、1、6分布式系统家族

HPC和HTC系统需要遵从如下设计原则：

效率:

在HPC系统中开发大规模并行计算时，度量执行模型内资源的利用率。对于HTC系统，效率更依赖于系统的任务吞吐量、数据访问、存储、节能。

可信：

度量从芯片到系统到应用级别的可靠性和自管理能力。目的是提供有服务质量（QoS）保证的高吞吐量服务，即使是失效的情况下。

编程模型适应性：

度量在海量数据集和虚拟云资源上各种负载和服务模型下支持数十亿任务请求的能力。

应用部署的灵活性：

度量分布式系统能够同时很好地运行在HPC（科学和工程）和HTC（商业）应用上的能力。

1、2可扩展性计算趋势和新的范式

1、2、1并行度

位级并行:

（Bit Level Parallelism，BLP）

指令级并行:

（Instruction Level Parallelism，ILP）。通过指令流水线、超标量计算、VLIW体系结构、多线程实践了ILP。ILP需要分支预测、动态规划、投机预测、提高运行效率的编译支持。

数据级并行:

（Data Level Parallelism，DLP）的流行源于SIMD和使用向量与数组指令类型的向量机

任务级并行:

（Task Level Parallelism，TLP）

作业级并行:

（Job Level Parallelism ，JLP）

1、2、2创新型应用

1、2、3效用计算趋势

1、2、4新技术成熟周期

1、3物联网和CPS

1、3、1物联网

物联网是指日常生活中对象、工具、设备或计算机间存在网络互连。物联网为互联了所有我们生活中的对象的无线传感器网络。

1、3、2CPS

CPS是计算过程和物理世界之间交互的结果。CPS集成了“计算节点”（同构，异构）和“物理”（并发和信息密集的）对象。CPS在物理世界和信息世界之间将“3C”技术（计算、通信、控制）融合到了一个智能闭环反馈系统中。

物联网强调物理对象之间的多样化连接，而CPS强调物理世界中虚拟现实应用的开发和研究。

2、基于网络的系统技术

2、1多核cpu和多线程技术

2、1、1先进的CPU处理器

2、1、2多核CPU和众多GPU体系结构

2、1、3多线程技术

2、2大规模和超大规模GPU计算

2、2、1GPU如何工作

2、2、2GPU编程模型

2、2、3GPU性能

2、3内存、外部存储、和广域网

2、3、1内存技术

2、3、2磁盘和存储技术

2、3、3系统区域互连

三种连接服务器、客户机、存储设备的互连网络，LAN连接客户机和服务器，SAN连接服务器和磁盘阵列，NAS连接客户机和网络环境中大规模存储系统

2、3、4广域网络

2、4虚拟机和虚拟化中间件

2、4、1虚拟机

建立大规模集群、网格和云，我们需要以虚拟的方式访问大量的计算、存储和网络化资源。我们需要集群化这些资源，并希望提供一个单独的系统镜像。 

2、4、2虚拟机原始操作

2、4、3虚拟机基础设施

2、5云计算与数据中心虚拟化

2、5、1数据中心的服务器数量增长和成本分析

2、5、2低成本的设计原则

2、5、3技术的融合

3、分布式与云计算系统模型

大系统被划分为四组：集群、P2P网络、计算网格、大数据中心之上的互联网云。

3、1协同计算集群

3、1、1集群体系结构

服务器集群通过高带宽SAN或LAN互连以共享I/O设备和磁盘阵列；集群以一个单独计算机的身份接入互联网 

3、1、2单系统镜像

集群应该合并多个系统镜像到一个单系统镜像（SSI）。集群设计者期待一个集群操作系统或者一些中间件在各个级别支持SSI。

3、1、3硬件、软件和中间件的支持

几乎所有的Top500中的HPC集群都是MPP的。基本的构成部件包括计算机节点（PC、工作站、服务器或SMP）、特殊的通信软件（如PVM或MPI）和每个计算机节点上的网络接口卡。特殊的集群中间件支持是用来实现SSI或高可用性。

3、1、4主要的集群设计问题

没有一个适合集群的完全资源共享的操作系统。软件环境和应用依靠中间件来达到高性能。 

3、2网络计算的基础设施

3、2、1计算网格

3、2、2网格家族

3、2、3P2P应用族

3、2、4p2p计算挑战

3、3对等网络家族

3、3、1p2P系统

客户端服务器体系结构

P2P体系结构提供了一个分布式的网络化系统模型

每个节点既是客户端又是服务器，提供部分系统资源    

3、3、2覆盖网络

分为结构化和非结构化。

结构化：连接拓扑和从覆盖图插入删除节点的规则。如路由机制。    

非结构化：随机图描述。

数据项或文件分布在一起参加的节点中。

3、3、3p2p应用族

3、3、4p2p计算挑战

P2P计算在硬件、软件和网络需求上面临三类异构问题。

有太多的硬件模型和体系结构而无法选择；

软件和操作系统间不相容；

33不同的网络连接和协议使其过于复杂而无法应用于真实应用。

3、4互联网上的云计算

3、4、1互联网云

3、1、2云前景

云计算提供了一个虚拟化的按需动态供应硬件、软件和数据集的弹性资源平台。

基础设施即服务（IaaS）：这个模型将用户需要的基础设施（即服务器、存储、网络和数据中心构造）组合在一起。用户可以在使用客户机操作系统的多个虚拟机上配置和运行指定应用。

平台即服务（PaaS）：这个模型使用户能够在一个虚拟的云平台上配置用户定制的应用。PaaS包括中间件、数据库、开发工具和一些运行时支持（如Web 2.0和Java）。

软件即服务（SaaS）:这是指 面向数千付费云用户的初始浏览器的应用软件。SaaS模型应用于业务流程、工业应用、客户关系管理、企业资源计划、人力资源和合作应用。

4、分布式系统与云计算软件环境

4、1面向服务的体系结构（SOA）

4、1、1WEB服务和网络分层体系结构

4、1、2WEB服务和工具

4、1、3SOA变命

4、1、4网格与云

网格系统使用静态资源，而云强调弹性资源。
网格和云之间的不同仅限于基于虚拟化和自治计算的动态资源管理。可以通过多个云建立网格。这种网格比一个单纯的云能更好的工作，因为它能明确支持协议资源分配。从而可以建立系统的系统，如云之云、云网格、网格云，或互联云作为一个基本SOA体系结构。

4、2分布式操作趋势

4、2、1分布式操作系统

三种，分别如下：

4、2、2Amoeba和DCE

4、2、3用于Linux集群的MOSIX2

4、2、4透明的编程环境

4、3并行和分布式编程模型

4、3、1消息传递接口

4、3、2MapReduce

4、3、3Hadoop库

4、3、4开放网格服务体系

4、3、5Globus工具包和扩展