字节跳动开源分布式训练框架BytePS

昨天看到了一篇文章，关于字节跳动开源分布式训练框架BytePS，字节跳动作为今日头条，抖音，西瓜视频等的母公司，凭借其在人工智能领域的优势，成为世界上著名的独角兽公司。其在人工智能领域可谓独树一帜。转载的文章如下：

字节跳动开源了通用分布式训练框架BytePS，这个框架支持TensorFlow、Keras、PyTorch、MXNet，可以运行在TCP或RDMA网络中。

官方介绍称，BytePS大大优于现有的开源分布式训练框架。例如，在相同的条件下，BytePS的训练速度是Horovod+NCCL的两倍。

BytePS也登上了GitHub趋势热榜。

打开UC浏览器 查看更多精彩图片

 

性能表现

为了展示BytePS的性能，官方测试了两个模型：VGG16（通信密集型）和Resnet50（计算密集型），两个模型都以fp32精度进行训练。

训练使用了公有云上的虚拟机，每个机器有8个GPU，启用了NVLink。这些GPU都是Tesla V100 16GB型号GPU，batch size设置为64/每GPU。硬件之间以20Gbps的TCP/IP网络连接。

测试表明，与Horovod (NCCL)相比，BytePS在VGG16训练上的速度快100%，Resnet训练速度快44%。

打开UC浏览器 查看更多精彩图片

 

打开UC浏览器 查看更多精彩图片

 

Horovod是Uber开源的深度学习工具，NCCL是英伟达发布的多卡通信框架。

原因解析

BytePS为什么比Horovod更强？

官方解释称，一个主要的原因是BytePS是专门为云和共享集群而设计，并且抛弃了MPI。MPI是一个跨语言的通讯协议，用于编写并行计算机。

MPI是为高性能计算机而生，对于使用同类硬件构建的集群以及运行单一任务更有效。但并不是云（或者内部共享集群）的最佳选择。

因此字节跳动团队重新思考了最佳的通信策略。简而言之，BytePS仅在机器内部使用NCCL，重新构建了机器内部的通信。

BytePS还集成了许多加速技术，例如分层策略、流水线、张量分区、NUMA感知本地通信、基于优先级的调度等等。

传送门

BytePS现已在GitHub上开源，地址如下：

https://github.com/bytedance/byteps

在GitHub上，还详细介绍了如何使用BytePS等相关信息。

目前BytePS还不支持纯CPU训练。

转载自字节跳动开源分布式训练框架BytePS, 登上GitHub热榜

PS:后续小编的主要精力放到GIS理论开发知识的大众化的道路了，通过浅显易懂的语言，结合多年行业应用开发，通过微信订阅号传播（每周更新三篇文章及相关GIS编码知识），为GIS的发展尽微博之力。终极目标是让GIS不再专业，让GIS更加大众，使得GIS深入各行业应用，让每位GISER都有一股自豪感！以下是我的微信订阅号二维码，感兴趣的可以交流沟通！

一位更懂IT的GISER，一位更懂GIS的IT