清华大学软件定义芯片团队的高能效量化卷积神经网络加速芯片入选固态电路顶级会议ISSCC 2021...

允中 发自 凹非寺
量子位 编辑 | 公众号 QbitAI

2021年2月13日～22日，第68届国际固态电路会议（ISSCC）通过线上模式顺利召开。清华大学魏少军、刘雷波教授团队作了题为“A 28nm 12.1TOPS/W Dual-Mode CNN Processor Using Effective-Weight-Based Convolution and Error-Compensation-Based Prediction”的学术报告。

该报告介绍了一款量化卷积神经网络（CNN）加速芯片——QNAP，通过挖掘量化后CNN模型权值大量冗余的特征，提出一种能够显著减少冗余权值造成冗余乘操作的优化方法，降低了硬件功耗；同时，提出了一种减少ReLU激活函数造成冗余乘加操作的预测方法，显著提升了CNN硬件的运行性能；此外，针对广泛使用的残差结构，提出了一种专用的流水结构，减少了残差结构中大量的片外访存操作。基于TSCM 28 nm工艺，QNAP仅消耗1.9mm²的面积便实现了高达12.1 TOPS/W的能效，显著优于已有结果。

报告人莫汇宇是论文第一作者（如图1所示），目前正在清华大学微电子所攻读博士学位。

△ 图1 莫汇宇同学报告论文的主要工作

随着人工智能技术的发展，CNN模型的计算量呈指数增长。但对于移动设备和物联网边缘端设备等计算资源受限的设备，CNN模型巨大的计算量是难以接受的。

为了应对这个挑战，学术界与工业界已开始着手CNN模型加速芯片的研究工作。当前，绝大多数CNN加速芯片是基于量化模型设计的，但量化后的模型会产生大量的重复权值（如图2所示），根据卷积计算的特性以及乘法结合律，将造成大量的冗余乘操作；此外，根据ReLU激活函数的特性，卷积结果为负数时（-∞与-0），激活值将为0，因此，如果只通过部分计算能精确预测出卷积结果值为负，则可以省略后续卷积计算操作，来达到提高整体卷积运算的性能。同时，残差结构，作为主流CNN模型中广泛采用的架构，由于其存在着跳层结构，会产生大量的高能耗片外访存操作（如图2所示）。

△ 图2 当前量化后CNN模型在硬件执行中存在的挑战

针对上述难题，魏少军、刘雷波团队提出了基于有效权值卷积方法与误差补偿预测方法，并完成了芯片架构设计，能够同时减少量化后CNN模型的冗余计算与硬件资源开销。

针对CNN模型量化后权值大量冗余的情况，提出权值分解方法，将有效权值进一步压缩至可控范围；并设计专有的处理单元，配合编码后的权值，可以在不损失精度前提下，大量减少冗余乘操作，提高了芯片整体能效（如图3所示）；针对ReLU激活函数带来的冗余计算，提出基于误差补偿的方法，通过设置预测表来判断是否需要补偿激活值，从而减少精度损失，并提高模型执行性能（如图4所示）。

针对残差结构中存在大量访存操作，提出逐层流水结构，每个时间段将所有硬件资源分配给某一层网络运算，得到其部分结果，并将此结果输送给下一层网络在下个时间段处理，通过分块迭代计算，从而避免大量的片外访存操作，同时提高硬件利用率（如图5所示）。

基于TSMC 28 nm工艺，QNAP内核面积为1.9mm²，在电压为0.6~0.9 V，对应工作频率为100-470 MHz条件下，功耗仅为19.4-131.6 mW（如图6所示）。以8 bit量化的AlexNet/VGGNet/GoogLeNet/ResNet作为基准网络，QNAP在470 MHz, 0.9V条件下，实现了12.1 TOPS/W的能效，为当前最优处理器平均性能的3.56倍。

△ 图3 基于有效权值的卷积操作

△ 图4 基于误差补偿的预测方法

△ 图5 逐层流水架构

△ 图6 QNAP芯片及其硬件指标

过去10余年，魏少军、刘雷波教授团队在软件定义芯片领域取得了多项技术突破，关键技术在一系列国家重大工程中得到批量应用，曾获国家技术发明奖二等奖、教育部技术发明奖一等奖、电子学会技术发明奖一等奖、中国发明专利金奖、世界互联网大会15项世界互联网领先科技成果等多项重要科技奖励。

关于ISSCC

ISSCC（IEEE International Solid-State Circuits Conference，国际固态电路会议），是世界学术界和企业界公认的集成电路设计领域最高级别会议，被认为是集成电路设计领域的“奥林匹克大会”。世界上第一个TTL电路、世界上第一个8位微处理器、世界上第一个1Gb的DRAM、世界上第一个GHz微处理器、世界上第一个多核处理器等众多集成电路历史上里程碑式的发明都在该会议上首次披露。自1954年以来，该会议已经成功举办68届。

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

点这里????关注我，记得标星，么么哒～

加入AI社群，拓展你的AI行业人脉

量子位「AI社群」招募中！欢迎AI从业者、关注AI行业的小伙伴们扫码加入，与50000+名好友共同关注人工智能行业发展&技术进展：

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~