英伟达 GPU 中的 Tensor Cores有什么作用？

英伟达公司的 GPU 显卡过去的型号为 GTX，现在新出了一个 RTX 系列的新产品。RTX 提供的其中一个新功能就是包含了 Tensor Cores。那么这个 Tensor Cores 是做什么用的哪？ 查了一下资料：

使用Tensor核的两个CUDA库是cuBLAS和cuDNN。cuBLAS使用张量核加速GEMM计算（GEMM是矩阵-矩阵乘法的BLAS术语）；cuDNN使用张量核加速卷积和递归神经网络（RNNs）。

• 许多计算应用程序使用GEMM：信号处理、流体动力学等等。随着这些应用程序的数据大小呈指数级增长，这些应用程序需要在处理速度上进行匹配。图3中的混合精度GEMM性能图显示，张量核显然满足了这一需求。

• 提高卷积速度的需求同样巨大；例如，深神经网络（DNNs）使用了许多层卷积。人工智能研究人员每年都在设计越来越深的神经网络；最深的神经网络中的卷积层现在有几十个。训练DNNs需要卷积层在正向和反向传播期间重复运行。