并行分布式计算 并行机系统互联网络

并行分布式计算 并行机系统互联网络

互联网络：并行计算机系统中各处理器与内存模块等之间数据传输机制。

• 与传统网络不一样，还需要处理 CPU、内存模块等组件的互联，还有系统域网络；
• 主要包含：讲台互联网络、动态互联网络、标准互联网络。

静态互联网络：处理单元之间连接固定，在程序执行期间保持不变。

• 典型静态网络有：一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等；
• 优点：静态网络中，对机器可以是硬编码，网络稳定使得算法可以对网络做出特殊优化，协议的选择方便；
• 缺点：不能扩展（不过大型的集群往往不经常扩展）

动态网络：由交叉开关构成，可按应用程序的要求动态地改变连接组态

• 典型动态网络有：总西安、交叉开关、多级互联网络等；
• 优点：能够适应不同的算法；
• 缺点：交叉开关成本高，难以解决广播的问题；

系统互连

分类

每个节点内：处理器总线、局部总线、存储器总线、IO总线

节点之间：

• 系统域网络（SAN）：3-25m；
• 局域网（LAN）：500-2000m；
• 城域网（MAN）：> 25km；
• 广域网（WAN）：全球

网络性能指标

节点度：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。

• 节点度大的时候，传输速度快，但是控制起来麻烦。

网络直径：网络中任意两个几点之间的最长距离，即最大路径数。

• 网络直径越小越好（比如考虑能不能在降低节点度的同时保持网络直径不上升）

对剖宽度：对分网络各半所必须移除的最少边数。对剖宽度是网络连通度的衡量。

对剖带宽：每秒钟，在最小的对剖平面上，通过所有连线的最大信息位数（如字节数）

对称的：如果从任一节点观察网络都一样，则称网络为对称的。

静态互联网络

一维线性阵列 1-D Linear Array

特点：

• 并行机中最简单、最基本的互联方式
• 每个节点只与其左、右近邻相连，也叫二近邻连接；
• 外节点度为 1，内节点度为 2，直径为 $N-1$ ，对剖宽度为 1

变型：首尾节点相连可以构成循环移位器，在拓扑结构上等同于环，环可以是单向的或双向的。节点度恒为 2，直径为 $\lfloor \frac{N}{2}\rfloor$ （双向环）或 $N-1$ （单向环），对剖宽度为 2；

优点：集群数量不多的情况下，一维线性的循环位移器成本低；

缺点：网络直径大、延迟高；

大概长成这样子：

A

B

C

D

E

二维网孔 / 2-D 网孔 2-D Mesh

特点：几十台机器的量级时常使用的网络

• 每个节点与其上下左右的近邻相连（边界节点除外），节点度为 4，网络直径为 $2(\sqrt{N}-1)$ （就是比如从左上角的节点到右下角的节点），对剖宽度为 $\sqrt{N}$；

变型：

• Illiac 网孔：垂直方向上环绕，水平方向上蛇形，节点度恒为 4，网络直径为 $\sqrt{N}-1$ （同一列的第一和最后一个节点），对剖宽度为 $2\sqrt{N}$ （除了直接相连的边，还有每个垂直带上的环绕的边）
• 2-D Torus / 2-D 环绕：垂直和水平方向上均环绕，节点度恒为 4，网络直径为 $2\lfloor \frac{\sqrt{N}}{2}\rfloor$ （水平方向和垂直方向上坐标正好差整个网络边长一半的两个节点），对剖宽度为 $2\sqrt{N}$ （除了直接相连的边，还有每个垂直带上的环绕的边）

二叉树

特点：

• 除了根、叶节点，每个内节点只与其父节点和两个子节点相连；
• 节点度为 3，对剖宽度为 1（断开根节点的其中一条边就可以将网络分成等大的两部分），树的直径为 $2(\lceil \log N\rceil -1)$ （分别属于根节点的不同子树的两个最深的叶子节点）

变型：

• 星形网络：增大节点度数到最大，则直径缩小为 2，对剖宽度为 $\lfloor \frac{N}{2}\rfloor$ （就是断开 $\lfloor \frac{N}{2}\rfloor$ 个子节点的边）
• 胖树：节点的通路自叶向根逐渐变宽，可以适应树状结构的特殊算法，适用度高，常用来构建超大型集群（如超算）

缺点：传统二叉树的根节点的线路容易成为通信瓶颈（胖树就是为了解决这一点）

超立方

特点：$n$-立方由 $N=2^n$ 个节点构成，节点度为 $n$ ，网络直径也是 $n$ ，而对剖宽度为 $\frac{N}{2}$ ；

变型：每个节点替换为由 $n$ 个节点构成的环，此时每个顶点的度为 $3$ ，而不是 $n$ ；

优点：对剖宽度高、网络直径小，带宽高、延迟小；

缺点：节点度高，控制起来较为麻烦，维度上升时控制成本上升很快。

总结

动态互联网络

总线 Bus

常见总线有：PCI、VME、Multibus、Sbus、MicroChannel

多处理机总线系统的主要问题包括总线仲裁、中断处理、协议转换、快速同步、高速缓存一致性协议、分事务、总线桥和层次总线扩展等

交叉开关 Crossbar

单级交换网络：可为每个端口提供更高的带宽。交叉点开关可由程序控制动态设置使其处于 “开” 或 “关” 状态，并能提供所有源宿对之间的动态连接。

交叉开关一般有两种使用方式：

• 一种是用于 SMP 或多计算机集群中的处理器之间的通信
• 另一种用于 SMP 服务器或向量超级计算机（我猜是指 PVP）中处理器和存储器之间的存取

单级交叉开关级联起来形成多级互联网络 MIN（Multistage Interconnection Network）:

总结

标准互联网络

光纤分布式数据接口 FDDI

特点：

• FDDI 采用双向光纤令牌环，可提供 100-200 Mbps 数据传输速率
• FDDI 具有互联大量设备的能力
• 传统的 FDDI 仅以异步方式操作

快速以太网

已经经历了四代：

• 第一代：1982 年引入的 10Mbps；
• 第二代：1994 年宣布的 100Mbps；
• 第三代：1997 年 IEEE 802.3 工作组宣布的 1Gbps ；
• 第四代：2002 年 IEEE 802.3ae 通过的 10Gbps，并且 2010 年 6 月 IEEE802.3ba 公布了 20-100Gbps；

InfiniBand

• Intel及IBM、Compaq、HP等分别提出了“下一代I/O”和“未来I/O”技术，集合了整个业界的努力开发的，能够替代PCI总线的新 I/O 规范。

• InfiniBand 是一种交换式通信结构，包括分层结构、基于信息包的通信机制、3种连接速度等技术。