并行计算与机器学习

重要概念

  • 通信:sharing memory & message passing
  • 架构:client-server & peer-to-peer
  • Synchronization: bulk synchronous & asynchronous
  • Parallelism: data parallelism ( more popular) VS model parallelism

并行编程模型

  • MapReduce: message passing, client-server,and synchronous
  • Parameter Server:message passing,client-server,and asynchronous
  • Decentralized:message passing,peer-to-peer,synchronous or asynchronous

通信方式

  • share memory
    并行计算与机器学习_第1张图片
  • Message passing
    并行计算与机器学习_第2张图片

Synchronization

  • bulk synchronous
    并行计算与机器学习_第3张图片

  • asynchronous
    ??

  • synchronous algorithm
    并行计算与机器学习_第4张图片

  • asynchronous algorithm
    并行计算与机器学习_第5张图片

编程模型

  • MapReduce
    并行计算与机器学习_第6张图片
  • Parameter Server
    并行计算与机器学习_第7张图片
  • 去中心化网络
    并行计算与机器学习_第8张图片
    学习来源:https://www.bilibili.com/video/BV1zE411W7Wo?p=1

你可能感兴趣的:(机器学习)