nn-Meter

引言随着人工智能技术的飞速发展，深度神经网络(DNN)模型被广泛应用到各种业务场景下，部署在许多移动端应用上。实际应用时，推理时间(latency)是评估模型是否能用、好用的关键指标之一。然而针对巨大的模型设计空间，实测各种设计模型的推理时间成本过高，而现有技术缺乏对部署硬件平台优化策略的理解以及对灵活多变模型架构的泛化性，所以无法做到准确的模型推理时间预测。在神经结构搜索(NAS)、模型剪枝等任