1 yubei知识

1.3 并行机体系结构

• 为设计高效率并行算法，需对并行机体系结构有一定了解

 

• 图 1.2 图 1.3 ，并行机三要素：

• 结点

  • 每结点由多个处理器构成，
  • 可直接输入输出（ I/O ）。

• 互联网络。所有结点通过互联网络相互连接相互通信

• 内存

  • 内存由多个存储模块组成，
  • 这些模块可如图1.2
    • 与结点对称地分布在互联网络的两侧，
  • 如图 1.3
    • 位于各结点内

hub是中心，集线器的意思

 

1.5 并行算法

• 并行算法是适合在并行机上实现的算法

 

• 给一PDE
• 用合适方法数值离散后
• 剩下就是如何设计并行算法
• 编制并行程序
• 在并行机上求解离散格式
• 获数值近似解

 

• 应用问题中是否存在可挖掘的并行度是并行计算机应用的关键，

1.5.1 并行算法的分类

• 运算基本对象
• 数值并行算法
• 非数值并行算法
  • 为符号运算而设计的并行算法，如图论算法、遗传算法

 

• 并行进程间相互执行顺序关系的不同分

• 同步并行算法

  • 进程间由于运算执行顺序而必须相互等待
  • 通常的向量算法
  • SIMD 算法
  • MIMD并行机上进程间
    • 需相互等待通信结果的算法等

• 异步并行算法

  • 进程间执行相对独立，
  • 不需相互等待的一种算法，
  • 通常针对消息传递 MIMD 并行机设计，
  • 特征是在计算整个过程中均不需等待，而根据最新消息决定进程的
    继续或终止；

• 独立并行算法

  • 进程间执行是完全独立的
  • 整个过程不需要任何通信

 

• 各进程的计算任务粒度不同
• 细粒度
  • 基于向量和循环级并行的算法
• 中粒度
  • 指基于较大的循环级并行；
• 大粒度并行算法
  • 基于子任务级并行的算法
  • 如通常的基于区域分解的并行算法，
  • 当前并行算法设计主流

 

• 并行算法的粒度是相对概念。
• 如果处理器的计算功能强大，则原来的粗粒度算法也可以被认为是细粒度算法。

 

• 还存在根据应用问题的不同、通信方式的不同等进行分
  类的方式

1.5.2 并行算法的发展阶段

• 算法和应用程序的内在并行度导致并行计算机
• 并行机也很大程度上影响着并行算法的发展

并行算法的重要发展阶段

• 基于向量运算的
• 该类算法随着向量机 ( 如 CRAY–1 ， YH–1 等)出现而出现
  ， 70 末和 80 初顶峰
• 最著名的成果为
  • 递归问题的向量化
• 我国在这方面有很好成果，总结李晓梅等[3]

 

• 基于多向量处理机的并行算法设计
• 随着多向量处理并行机（如 CRAY Y-MP ， YH-2 ）出现而出现
• 特点
  • 既要考虑到多处理机间的任务级大粒度并行，
  • 又考虑到单处理机上的向量级细粒度并行
• 80 年代初和中流行
  • 日本坚持在这方面的研究和应用软件开发