英伟达首席科学家:5nm实验芯片用INT4达到INT8的精度,每瓦运算速度可达H100的十倍...
梦晨发自凹非寺量子位|公众号QbitAI32位与16位格式的混合精度训练,正是当前深度学习的主流。最新的英伟达核弹GPUH100,刚刚添加上对8位浮点数格式FP8的支持。英伟达首席科学家BillDally现在又表示,他们还有一个“秘密武器”:在IEEE计算机运算研讨会上,他介绍了一种实验性5nm芯片,可以混合使用8位与4位格式,并且在4位上得到近似8位的精度。目前这种芯片还在开发中,主要用于深度学