实时深度学习的推理加速

还未完成的。。。。。。
作者 Yanchen 毕业于普林斯顿大学机器学习方向，现就职于微软Redmond总部，从事大规模分布式机器学习和企业级AI研发工作。在该篇文章中，作者介绍了实时深度学习的推理加速和持续性训练。

引言

深度学习变革了许多计算机视觉和自然语言处理（NLP）领域内的任务，它为越来越多的消费者和工业产品提供更强大的智能，并潜在地影响了人们在日常经验和工业实践上的标准流程。从理论上来说，深度学习和其他基于统计机器学习方法的自动化系统十分类似，它们都可以采用两个过程描述。首先，深度神经网络（DNN）模型明确地指向为问题领域和可用数据而训练，通常训练会在 GPU 或高性能 CPU 集群上花费大约十多小时到几周的时间。然后它才能部署到产品环境中，并持续输入数据流且产生实时推理，而产生的输出会直接作为端结果或继续馈送到下游系统中。无论哪种方式，具有严格延迟要求的应用都需要进行轻量且快速的深度学习推理（如自动驾驶汽车或搜索引擎），通常每个样本数据需要在几十毫秒内响应。因此，相对于学术上关注于更快地训练，产业上往往更关注于更快地推理，推动更快的加速成为了很多硬件和软件解决方案的焦点和核心。

深度学习系统另外一个重要的方面就是需要处理输入和输出数据随时间的分布变化。像任何统计机器学习模型一样，深度神经网络的有效性极其依赖于假设输入和输出数据的分布并不会随时间地变化而产生明显的改变，从而最初学习到的复杂模型和模式可以在以后继续使用。然而，这类假设在现实中是很少成立的，特别是在信息安全等领域，快节奏潜在数据生成机制的变化属于常态（在信息安全案例中，攻击和防御参与双方都在不断调整策略而尽力胜过对手，因此它们都在挖掘对手的潜在漏洞）。因此随着使用深度学习能解决更多以前无法解决的问题&