AI算力加速之道

1 AI算力发展趋势

1.1 人工智能理论：深度学习

人工智能发展至今并非一帆风顺， 从起步阶段到现今的深度学习阶段，数据、算法和算力构成了人工智能三大基本要素，共同推动人工智能向更高层次的感知、认知发展。

1.2 第三次人工智能浪潮代表人物

如前所述，当前人工智能繁荣离不开数据、算法和算力的共同发展，在算法层面，深度学习三巨头Geoffrey Hinton、Yann LeCun和Yoshua Bengio对AI领域的贡献无人不知、无人不晓，他们围绕神经网络重塑了AI；

数据层面，2007年李飞飞创建了世界上最大的图像识别数据库ImageNet，使人们认识到了数据对深度学习的重要性，也正是因为通过ImageNet识别大赛，才诞生了AlexNet, VggNet, GoogleNet, ResNet等经典的深度学习算法。

前几次人工智能繁荣后又陷入低谷，一个核心的原因就是算力难以支撑复杂的算法，而简单的算法效果又不佳。黄仁勋创办的NVIDIA公司推出的GPU，很好的缓解了深度学习算法的训练瓶颈，释放了人工智能的全新潜力。

1.3 计算力就是生产力

在智慧时代，计算力就是生产力。什么是生产力，就是人类改造自然的能力，就是创造价值的能力。在这个表中，我们有一个很有趣的发现。

在10年前，全球市值最高的企业大部分是能源公司、金融企业，市值靠前的IT公司仅仅微软一家，那时候windows如日中天，office独步天下，属于个人PC时代。

到了当前，全球最值钱的公司几乎清一色的信息技术与服务公司，有趣的地方还不在这里，这前几名的公司正好也是全球采购服务器最多公司，仅亚马逊一家，2017年便采购了全球13%的云服务器。是海量的计算能力在为这些公司创造价值。

对于企业是这样子，对于国家也是如此。计算力之于智慧时代就像是电力之于电气时代，都是生产力的重要形式。

那么，我们便可以通过计算力的情况，来分析一个国家的经济发展情况，就如同克强指数里面的电力能够衡量一个行业的发展情况类似。据统计，国家GDP的数字与服务器的出货量，GDP与服务器采购额呈现出明显的正线性相关关系。

美国、中两国不仅GDP远远领先于日本和德国，每万亿GDP的服务器数量也远远高于他们，数字经济的贡献占比明显高于他们。

我们国内各个省得情况，与此完全类似，北、上、广、浙每万亿GDP的服务器出货量远大于其他省区，因此他们新旧动能转换的就快，发展质量就跑在了前面。所以我们可以说计算力已经成为衡量社会和经济发展水平的重要指标。

面对指数级增长的计算需求，计算技术、产品与产业也面临着新的挑战。具体来说，体现在以下三个方面，一个是多元化的挑战，也就是计算场景的复杂、计算架构的多元；一个是巨量化的挑战，也就是由巨量模型、巨量数据、巨量算力及巨量应用引发的对现有计算机体系结构的挑战；

最后一个则是生态化的挑战，简单来说现在的智算处于群雄并起阶段，自成体系、生态离散，同时产业链上下游脱节。

第一个挑战是多元化。

我们讲计算最关键的任务就是支撑业务，那么不同的业务类型，势必要求有不同的计算系统来完成。例如针对传统的地震波模拟等科学计算，数值精度要求高，需要能到64位；而AI训练，则可以使用数值范围大、精度低的16位浮点类型；对于AI推理，由于推理要求速度、耗能少，则可以在更低的数值精度下进行处理，如4位、甚至2位、1位整数类型。

也就是说AI的应用引入了新计算类型，从推理到训练，跨度更大，同时，数据量也从GB级到TB级、PB级不断提升，类型从结构化到半结构化、非结构化更加复杂多样。

不同数值精度的计算类型对于计算芯片指令集、架构的要求是不一样的，这样就导致之前我们一直使用的通用CPU芯片已经无法满足这种多元化计算场景要求了，这也是计算芯片的种类越来越多的很重要的原因。

第二个挑战是巨量化。巨量化首先表现在模型参数多、训练数据量大。

以自然语言处理为例，基于自监督学习的预训练模型兴起后，模型精度随着模型尺寸及训练数据的增加而显著提升。

20年GPT-3模型的参数量首次突破千亿大关，达到了1750亿。按照当前的发展趋势，23年模型的参数量将突破百万亿，也就是基本达到人脑神经突触数量，人脑的神经突触数量约125万亿。

巨量模型需要巨量内存。当前一颗GPU的板载高速内存容量为40GB，对于包含百万亿参数的巨量模型，仅是将这些参数平均分配到每个GPU内存中，就需要1万块GPU才能装得下。

考虑到训练中需要额外的存储，实际上至少需要2万块GPU才能启动训练。现有AI芯片的架构已经不足以支撑巨量模型的参数存储需求。

同时，巨量模型依赖海量数据的喂养，目前的AI算法本质上还是一种依赖量变的质变，很难从一种质变跳跃到另一种质变，例如最新的巨量模型需要万亿级的词量数据。海量数据需要海量存储。在超大规模集群中同时满足几万块AI芯片的高性能读取，对存储系统是个极大的挑战。

巨量化的第二个表现是计算力需求指数增长

深度学习自2011年兴起至今，对算力的需求始终呈指数增长。每隔3.4个月，算力需求翻一倍。Petaflops*day代表以1P每秒的算力计算一天所用浮点计算量来度量算力。训练巨量模型需要巨大算力：20年GPT-3的算力达到了3640PD，到23年巨量模型的算力需求将达到百万PD。

在当今世界最快的超算系统上，完成百万PD的计算所需时间约为2年。不同领域需要不同类型的巨量模型：GPT-3以处理英文理解任务为主，为了满足不同语言，不同场景的精度要求，也要训练不同的巨量模型，这进一步加剧了对算力的需求。

如此庞大的算力需求给计算技术和产品带来了巨大挑战。解决这样的挑战需要从体系结构、系统软件等各个领域开展创新。

最后我们来看一下智算面临的生态化的挑战，AI的技术链条、产业链条是脱节的。我想很多人会有这样的疑问，人工智能那么好，但是这东西怎么跟我的业务，跟我的客户应用场景结合起来呢，我想用AI技术做智能化转型，但是发现我这里没人懂算法，懂模型，也缺少好用的AI开发平台。同时，那么多算法，模型&#x