并行分布式计算 并行机系统互联网络

文章目录

  • 并行分布式计算 并行机系统互联网络
    • 系统互连
      • 分类
      • 网络性能指标
    • 静态互联网络
      • 一维线性阵列 1-D Linear Array
      • 二维网孔 / 2-D 网孔 2-D Mesh
      • 二叉树
      • 超立方
      • 总结
    • 动态互联网络
      • 总线 Bus
      • 交叉开关 Crossbar
      • 总结
    • 标准互联网络
      • 光纤分布式数据接口 FDDI
      • 快速以太网
      • InfiniBand

并行分布式计算 并行机系统互联网络

互联网络:并行计算机系统中各处理器与内存模块等之间数据传输机制。

  • 与传统网络不一样,还需要处理 CPU、内存模块等组件的互联,还有系统域网络;
  • 主要包含:讲台互联网络、动态互联网络、标准互联网络。

静态互联网络:处理单元之间连接固定,在程序执行期间保持不变。

  • 典型静态网络有:一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等;
  • 优点:静态网络中,对机器可以是硬编码,网络稳定使得算法可以对网络做出特殊优化,协议的选择方便;
  • 缺点:不能扩展(不过大型的集群往往不经常扩展)

动态网络:由交叉开关构成,可按应用程序的要求动态地改变连接组态

  • 典型动态网络有:总西安、交叉开关、多级互联网络等;
  • 优点:能够适应不同的算法;
  • 缺点:交叉开关成本高,难以解决广播的问题;

系统互连

分类

每个节点内:处理器总线、局部总线、存储器总线、IO总线

节点之间:

  • 系统域网络(SAN):3-25m;
  • 局域网(LAN):500-2000m;
  • 城域网(MAN):> 25km;
  • 广域网(WAN):全球

并行分布式计算 并行机系统互联网络_第1张图片

网络性能指标

节点度:射入或射出一个节点的边数。在单向网络中,入射和出射边之和称为节点度。

  • 节点度大的时候,传输速度快,但是控制起来麻烦。

网络直径:网络中任意两个几点之间的最长距离,即最大路径数。

  • 网络直径越小越好(比如考虑能不能在降低节点度的同时保持网络直径不上升)

对剖宽度:对分网络各半所必须移除的最少边数。对剖宽度是网络连通度的衡量。

对剖带宽:每秒钟,在最小的对剖平面上,通过所有连线的最大信息位数(如字节数)

对称的:如果从任一节点观察网络都一样,则称网络为对称的。

静态互联网络

一维线性阵列 1-D Linear Array

特点

  • 并行机中最简单、最基本的互联方式
  • 每个节点只与其左、右近邻相连,也叫二近邻连接;
  • 外节点度为 1,内节点度为 2,直径为 N − 1 N-1 N1 ,对剖宽度为 1

变型:首尾节点相连可以构成循环移位器,在拓扑结构上等同于环,环可以是单向的或双向的。节点度恒为 2,直径为 ⌊ N 2 ⌋ \lfloor \frac{N}{2} \rfloor 2N (双向环)或 N − 1 N-1 N1 (单向环),对剖宽度为 2;

优点:集群数量不多的情况下,一维线性的循环位移器成本低;

缺点:网络直径大、延迟高;

大概长成这样子:

A
B
C
D
E

二维网孔 / 2-D 网孔 2-D Mesh

特点:几十台机器的量级时常使用的网络

  • 每个节点与其上下左右的近邻相连(边界节点除外),节点度为 4,网络直径为 2 ( N − 1 ) 2(\sqrt{N}-1) 2(N 1) (就是比如从左上角的节点到右下角的节点),对剖宽度为 N \sqrt{N} N

变型

  • Illiac 网孔:垂直方向上环绕,水平方向上蛇形,节点度恒为 4,网络直径为 N − 1 \sqrt{N}-1 N 1 (同一列的第一和最后一个节点),对剖宽度为 2 N 2\sqrt{N} 2N (除了直接相连的边,还有每个垂直带上的环绕的边)
  • 2-D Torus / 2-D 环绕:垂直和水平方向上均环绕,节点度恒为 4,网络直径为 2 ⌊ N 2 ⌋ 2\lfloor \frac{\sqrt{N}}{2} \rfloor 22N (水平方向和垂直方向上坐标正好差整个网络边长一半的两个节点),对剖宽度为 2 N 2\sqrt{N} 2N (除了直接相连的边,还有每个垂直带上的环绕的边)

并行分布式计算 并行机系统互联网络_第2张图片

二叉树

特点

  • 除了根、叶节点,每个内节点只与其父节点和两个子节点相连;
  • 节点度为 3,对剖宽度为 1(断开根节点的其中一条边就可以将网络分成等大的两部分),树的直径为 2 ( ⌈ log ⁡ N ⌉ − 1 ) 2(\lceil \log{N} \rceil-1) 2(⌈logN1) (分别属于根节点的不同子树的两个最深的叶子节点)

变型

  • 星形网络:增大节点度数到最大,则直径缩小为 2,对剖宽度为 ⌊ N 2 ⌋ \lfloor \frac{N}{2} \rfloor 2N (就是断开 ⌊ N 2 ⌋ \lfloor \frac{N}{2} \rfloor 2N 个子节点的边)
  • 胖树:节点的通路自叶向根逐渐变宽,可以适应树状结构的特殊算法,适用度高,常用来构建超大型集群(如超算)

缺点:传统二叉树的根节点的线路容易成为通信瓶颈(胖树就是为了解决这一点)

并行分布式计算 并行机系统互联网络_第3张图片

超立方

特点 n n n-立方由 N = 2 n N=2^n N=2n 个节点构成,节点度为 n n n ,网络直径也是 n n n ,而对剖宽度为 N 2 \frac{N}{2} 2N

变型:每个节点替换为由 n n n 个节点构成的环,此时每个顶点的度为 3 3 3 ,而不是 n n n

优点:对剖宽度高、网络直径小,带宽高、延迟小;

缺点:节点度高,控制起来较为麻烦,维度上升时控制成本上升很快。

并行分布式计算 并行机系统互联网络_第4张图片

总结

并行分布式计算 并行机系统互联网络_第5张图片

动态互联网络

总线 Bus

常见总线有:PCI、VME、Multibus、Sbus、MicroChannel

多处理机总线系统的主要问题包括总线仲裁、中断处理、协议转换、快速同步、高速缓存一致性协议、分事务、总线桥和层次总线扩展等

并行分布式计算 并行机系统互联网络_第6张图片

交叉开关 Crossbar

单级交换网络:可为每个端口提供更高的带宽。交叉点开关可由程序控制动态设置使其处于 “开” 或 “关” 状态,并能提供所有源宿对之间的动态连接。

交叉开关一般有两种使用方式:

  • 一种是用于 SMP 或多计算机集群中的处理器之间的通信
  • 另一种用于 SMP 服务器或向量超级计算机(我猜是指 PVP)中处理器和存储器之间的存取

并行分布式计算 并行机系统互联网络_第7张图片

单级交叉开关级联起来形成多级互联网络 MIN(Multistage Interconnection Network):

并行分布式计算 并行机系统互联网络_第8张图片

总结

并行分布式计算 并行机系统互联网络_第9张图片

标准互联网络

光纤分布式数据接口 FDDI

特点

  • FDDI 采用双向光纤令牌环,可提供 100-200 Mbps 数据传输速率
  • FDDI 具有互联大量设备的能力
  • 传统的 FDDI 仅以异步方式操作

并行分布式计算 并行机系统互联网络_第10张图片

快速以太网

已经经历了四代:

  • 第一代:1982 年引入的 10Mbps;
  • 第二代:1994 年宣布的 100Mbps;
  • 第三代:1997 年 IEEE 802.3 工作组宣布的 1Gbps ;
  • 第四代:2002 年 IEEE 802.3ae 通过的 10Gbps,并且 2010 年 6 月 IEEE802.3ba 公布了 20-100Gbps;

InfiniBand

  • Intel及IBM、Compaq、HP等分别提出了“下一代I/O”和“未来I/O”技术,集合了整个业界的努力开发的,能够替代PCI总线的新 I/O 规范。

  • InfiniBand 是一种交换式通信结构,包括分层结构、基于信息包的通信机制、3种连接速度等技术。

并行分布式计算 并行机系统互联网络_第11张图片

你可能感兴趣的:(#,并行分布式计算,网络,分布式)