腾讯开源推理框架TNN学习笔记（进行中）

6月10日之前期待

1、推理框架TNN

2、腾讯开源新一代

3、和NCNN有什么不同

4、模型转化是否方便

5、优化性能

6月10日

https://github.com/Tencent/TNN

TNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。目前TNN已经在手Q、微视、P图等应用中落地，欢迎大家参与协同共建，促进TNN推理框架进一步完善。

使用 TNN 非常简单，如果你有一个已经训练好的模型, 那么一般而言通过以下三个步骤就能完成模型在目标平台上的部署。

1. 第一步是把训练好的模型转换成TNN的模型，为此我们提供了丰富的工具来帮助你完成这一步，无论你使用的是 TensorFlow、PyTorch、或者 Caffe，都可以轻松完成转换。 详细的手把手教程可以参见这里如何转换模型。

2. 当你完成了模型的转换，第二步就是编译目标平台的 TNN 引擎了，你可以根据自己的目标平台的硬件支持情况，选择 CPU/ARM/OpenCL/Metal 等加速方案。 对于这些平台，TNN 都提供了一键编译的脚本，使用非常方便。详细步骤可以参考这里如何编译TNN。

3. 最后一步就是使用编译好的 TNN 引擎进行推理，你可以在自己的应用程序中嵌入对 TNN 的调用，这方面我们提供了丰富而详实的 demo 来帮助你完成。

   • 从0开始跑通一个iOS Demo
   • 从0开始跑通一个Android Demo

摘自：https://github.com/Tencent/TNN

进行中......