炼丹速度×7！你的Mac电脑也能在PyTorch训练中用GPU加速了

来源 | 量子位（QbitAI）

编辑 | 丰色、发自、凹非寺

一直以来，Pytorch在Mac上仅支持使用CPU进行训练。

就在刚刚，Pytorch官方宣布，其最新版v1.12可以支持GPU加速了。

只要是搭载了M1系列芯片的Mac都行。

这也就意味着在Mac本机用Pytorch“炼丹”会更方便了！

训练速度可提升约7倍

此功能由Pytorch与Apple的Metal工程团队合作推出。

它使用Apple的Metal Performance Shaders(MPS) 作为PyTorch的后端来启用GPU加速训练。

为了优化计算性能，MPS还针对Metal GPU系列的独特特性对每个内核进行了微调。

Metal是一个类似OpenGL的框架，只不过OpenGL适用于各平台的移动端GPU渲染和计算，Metal专用于iOS/MacOS平台，不过也兼顾了性能和易用性。

MPS就是一套基于Metal框架的库，直接调用即可使用GPU的高性能进行图形处理、构建卷积神经网络等工作。

苹果官方在搭载了M1 Ultra、20核CPU、64核GPU、128GB RAM和2TB SSD的Mac Studio上进行了测试。

（这阵容差不多能算是豪华配置了）。

他们分别训练了batch size为128的ResNet50、batch size为64的HuggingFace BERT，以及batch size=64的VGG16。

从下图中我们可以发现，相比使用CPU加速，使用GPU可将模型训练速度提高约7倍，评估（evaluation）速度则最高能提约20倍。

看到这儿，有网友开始好奇它与搭载了Nvidia GPU的laptop相比性能如何。

有人表示，虽说目前M1的原始计算性能比不上英伟达的产品，但功耗方面还不错。未来苹果很有可能慢慢追上性能。

总的来说，Mac Studio现在看起来实在太香了。

他进一步解释道：

“毕竟它是你花4800美元就能买到的最便宜、包含128GB GPU内存的机器。现在有了基于GPU加速的PyTorch支持，完全可以用来训练大模型、配置大的batch size。

对于我所做的那种DL工作，数据加载比实际的原始计算能力更容易成为瓶颈。”

你心动了吗？

现在就试试？

只需保证你的macOS操作系统在12.3版本及以上，且安装了arm64原生Python，然后去官网下载最新的Pytorch预览版就可以了。

地址：
https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/

推荐阅读

• 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》

• 【重磅开源】一文汇总顶会 SOTA 图像恢复算法，包括图像去噪、去雨、去模糊等等

• 如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研

• 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！

• 【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！

• 分层级联Transformer！苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度！

• 清华姚班教师劝退文：读博，你真的想好了吗？

• 2021李宏毅老师最新40节机器学习课程！附课件+视频资料

欢迎大家加入DLer-计算机视觉技术交流群！

大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。

进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）

 长按识别，邀请您进群！