深度学习入门笔记（八）实战经验

前面几节介绍了很多理论，难免会好奇：理论如何与实战结合呢？

本节我们就穿插一点实战经验，来换换脑子~

1. 显卡warmup

进行深度学习训练和推理时，往往第一次运行的耗时比较高，这是因为显卡需要warm-up，就是“热身”，才能发挥出显卡的性能。

关于热身，个人理解，显卡开始工作时控制单元需要对资源进行调度，例如分配warp等。这些应该都是在第一次推理的时候进行。类似的，举个栗子，在F1比赛中，每场赛车的正赛开始前，都会有一圈“暖胎圈”，各个车手依次起步，在赛道上不停画龙——连续左转右转——来对轮胎进行一定的磨损，使其与地面充分摩擦，来达到工作状态与工作温度，进一步使赛车达到最佳状态，跑出最好成绩。这就类似显卡的“warm-up”一样。

更底层得看，现代 GPU 设备可以存在于几种不同的电源状态之一。 当 GPU 没有被用于任何目的并且处于持久模式时（即保持 GPU(n) 未启用），GPU 会自动将其功耗状态降低到非常低的水平，有时甚至完全关闭。在较低功耗状态下，GPU 会关闭不同的硬件，包括内存子系统、内部子系统，甚至计算核心和缓存。

调用任何尝试与 GPU 交互的程序都会导致驱动程序加载和/或初始化 GPU。 这种驱动程序负载行为值得注意。 由于纠错代码的清理行为，触发 GPU 初始化的应用程序可能会导致长达 3 秒的延迟。 举个例子，如果我们测量一个网络的时间，一个例子需要 10 毫秒，那么运行超过 1000 个例子可能会导致我们的大部分运行时间都浪费在初始化 GPU 上、自然地，我们不想测量这样的副作用，因为 计时不准确。 它