67、AI 模型性能评估指标：吞吐和延时

在前面几节，完成一个图片的正确推理识别之后，下一步我们要关注的就是模型的性能。

神经网络的性能很重要，可以看下这一节：神经网络的性能以及那些框架存在的意义。

在我们进行模型性能评估之前，介绍一下两个对于性能评估非常重要的概念——吞吐和延时。

很多同学对这两个概念的理解是存在误区的，一般的误区会集中在：认为高吞吐就等于低延时，低吞吐就等于高延时。这样理解是有问题的。

下面我会详细介绍下这两个概念，帮助大家更深入的理解其区别，后面所有涉及模型性能的地方，都会依据这两个指标来做评估。

1、吞吐

吞吐或吞吐量，英文名叫 Throughput，指的是完成一个特定任务的速率，也可以理解为在单位时间内完成的任务量。

对于计算机网络而言，吞吐量的衡量单位一般是 bits / second 或者 Bytes / second。

举个例子，如果说一条数据通路的吞吐量是 40Gbps，那么意味着，如果你往这个数据通路中注入40Gb 的数据量，那么它可以在1秒内流过这条数据通路。

对于神经网络而言，我们可以把吞吐量的设置为每秒处理的图片数量（如果是图像任务）或token数量（如果是NLP任务）。

2、延时

延时，英文名为 Latency，指的是完成一个任务所花费的时间。

举个例子，如