【架构论文】VELTAIR: Towards High-Performance Multi-tenant Deep Learning Services via Adaptive Compilation
摘要本文从调度粒度、代码生成等方面系统分析了在通用CPU架构上提供多租户深度学习服务的机遇和挑战。我们提出了一种自适应粒度调度方案,既能保证资源使用效率,又能降低调度冲突率。我们还提出了一种自适应编译策略,通过该策略,我们可以动态、智能地选择具有适当独占和共享资源使用的程序,以减少整体干扰引起的性能损失。与现有工作相比,我们的设计可以在各种场景下(例如,轻、中、重工作负载分别为+71%、+62%、