【AI周报】科学家在类脑芯片上实现类似LSTM的功能，能效高1000倍；Meta加速ViT训练流程，吞吐量4倍提升

01

# 行业大事件

Nature子刊：科学家在类脑芯片上实现类似LSTM的功能，能效高1000倍

格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明，他们找到了一种在神经形态芯片上模拟 LSTM 的方案，可以让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。

随着智能手机的普及，手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比，基于 spike 的神经形态芯片有望实现更节能的深度神经网络（DNN）。但这需要我们理解如何在基于 event 的稀疏触发机制（sparse firing regime）中模拟 DNN，否则神经形态芯片的节能优势就会丧失。

比如说，解决序列处理任务的 DNN 通常使用长 - 短期记忆单元（LSTM），这种单元很难模拟。现在有一项研究模拟了生物神经元，通过放慢每个脉冲后的超极化后电位（AHP）电流，提供了一种有效的解决方案。AHP 电流可以很容易地在支持多节段（multi-compartment）神经元模型的神经形态硬件（例如英特尔的 Loihi 芯片）上实现类似于 LSTM 的功能。

滤波器逼近理论能够解释为什么 AHP 神经元可以模拟长短期记忆网络的功能。这产生了一种高能效的时间序列分类方法，让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。此外，它为高效执行大型 DNN 提供了基础，以解决有关自然语言处理的问题。研究论文近期发表在《自然 · 机器智能》期刊上。

论文地址：https://www.nature.com/articles/s42256-022-00480-w

曼彻斯特大学的计算机科学家 Steve Furber 评价这项研究称：「这是一项令人印象深刻的工作，可能给复杂 AI 算法（例如语言翻译、自动驾驶）的性能带来巨大飞跃。」

不堆参数、不靠时长，Meta加速ViT训练流程，吞吐量4倍提升

有时候，好的训练「技巧」比蛮力堆参更有效。

现阶段，视觉 transformer（ViT）模型已经在图像分类、目标检测与分割等各样各样的计算机视觉任务中得到了广泛应用，并可以在视觉表征与识别中实现 SOTA 结果。由于计算机视觉模型的性能往往与参数量和训练时长呈正相关，AI 社区已经实验了越来越大规模的 ViT 模型。

但应看到，随着模型开始超出万亿次浮点运算的规模，该领域已经遇到了一些主要的瓶颈。训练单个模型可能耗费数月，需要数以千块的 GPU，进而增加了加速器需求并导致大规模 ViT 模型将很多从业者「排除在外」。

为了扩展 ViT 模型的使用范围，Meta AI 的研究者已经开发出了更高效的训练方法。非常重要的一点是对训练进行优化以实现最佳的加速器利用。但是，这一过程耗时费力且需要大量的专业知识。为了设置有序的实验，研究者必须从无数可能的优化方案中进行选择：一次训练过程中执行的百万次运算中的任何一个都有可能受到低效率的影响和阻碍。

Meta AI 发现，通过将一系列优化应用到其图像分类代码库 PyCls 中的 ViT 实现，可以提升计算和存储效率。对于使用 PyCIs 训练的 ViT 模型，Meta AI 的方法可以提升训练速度和每加速器吞吐量（TFLOPS）。

下图展示了使用优化代码库 PyCIs 后每芯片（per chip）加速器吞吐量相较于 V100 基准的相对增加，而 A100 优化的加速器吞吐量是 V100 基准的 4.05 倍。

新研究的意义

将 ViT 训练中可实现的吞吐量翻倍可以有效让训练集群规模翻倍，提高加速器利用率直接减少了 AI 模型的碳排放。由于最近大模型的发展带来了更大模型和更长训练时间的趋势，这种优化有望帮助研究领域进一步推动最先进的技术，缩短周转时间并提高生产力。

原文链接：

https://ai.facebook.com/blog/significantly-faster-vision-transformer-training/

02

# 程序员专区

AI 正在打破专利法

过去几年，越来越多的发明涉及到了 AI。AI 帮助设计药物，开发疫苗，发现新材料。它的广泛使用对现有的专利制度构成了挑战。因为旧的专利法假设发明者是人类。如果法院和政府决定 AI 创造的发明不能授予专利，无疑这将会产生巨大影响，将会降低利用 AI 进行研究和发明的积极性，人类社会可能会错过具有重要意义的 AI 发明。新南威尔士大学的两位研究人员在《自然》网站上发表评论，提出了一种解决方案：与其让旧的专利法适应新情况，不如设计新的 AI 专利法律 AI-IP 去保护 AI 的发明，各国还应该制定国际条约，确保新的 AI 专利法律遵守标准原则，确保有效解决争端。

微软Visual Studio 2022 for Mac正式版发布

微软Visual Studio 2022 for Mac 17.0 GA版已在官网推出，Mac 电脑用户现已可下载安装。根据官方今日公布的发行说明，Visual Studio 2022 for Mac v17.0 是迄今为止最快的Visual Studio for Mac 版本，具有全新的原生 macOS UI，完全在 .NET 6 上运行，并针对 Apple Silicon (ARM64) 处理器进行了优化。