CUDA lazy loading is not enabled. Enabling it can significantly reduce device memory usage and speed

背景：

在TensorRT运行测试用例的时候出现以下warning：CUDA lazy loading is not enabled. Enabling it can significantly reduce device memory usage and speed up TensorRT initialization. See “Lazy Loading” section of CUDA documentation https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#lazy-loading

原因

NVIDIA Linux驱动测试版和NVIDIA GPU内核驱动开源版一起发布的是CUDA 11.7。
NVIDIA CUDA 11.7 Toolkit现在可以作为NVIDIA专有计算栈的最新功能更新。CUDA 11.7带来了对新的NVIDIA Open GPU内核模块的兼容性支持，另外一个重要的亮点是延迟加载支持。
延迟加载:延迟内核从主机加载到GPU，直到内核被调用。这也只加载已使用的内核，这可能会显著节省设备端内存。这也将加载延迟从应用程序的开始推迟到第一次调用内核的时候——总的二进制加载延迟通常会显著减少，但也会转移到应用程序的后期。
要启用这个特性，在启动进程之前设置环境变量CUDA_MODULE_LOADING=LAZY。
注意，这个特性只兼容CUDA版本>= 11.7编译的库。

再次运行，没有报警信息了。