版本预告丨Tengine-Lite 8月版本即将更新哪些亮点功能?-OPEN AI LAB

近期,OPEN AI LAB正式开源拥有自主知识产权的全新下一代AI端侧推理框架Tengine-Lite。作为Tengine整体软件架构重构的全新下一代产品,Tengine-Lite的推出不仅为开发者提供了整套便捷的MCU AI开发工具,还为嵌入式AI软件产业建立了开放的开发生态平台。

Tengine-Lite基于纯C代码重新搭建的更简洁、高效、代码可读性更好的Tengine-Lite,可以说将轻量化无依赖做到了极致。特别适合在各种软硬件资源受限的嵌入式环境下使用部署轻量的AI算法模型,并可用于语音、视觉等多种场景。

Tengine-Lite 8月版本即将更新哪些内容呢,一睹为快:

a.新增UINT8 算子ref

小伙伴们可以结合我们的全套模型转换工具、量化工具,在x86、arm平台上验证一下流程啦虽然速度还不算快,不过这里给大家埋(wa)个(ge)伏笔(keng),UINT8在哪里跑的快呢

  • concat
  • clip
  • convolution
  • detection_out
  • dropout
  • eltwise
  • fc
  • flatten
  • pooling
  • premute
  • priorbox
  • reshape
  • softmax

支持模型UINT8格式模型:
MobileNetv1、SqueezeNetv1.1、ResNet18、ResNet50、GoogleNet、VGG16、MobileNetv2、Inceptionv3、MobileNetSSD

b.Tengine-Lite开源异构计算切图功能

本版本支持CPU+GPU异构,后续版本敬请期待CPU+NPU哦~闲来大佬主刀(*❦ω❦),我们会开个专门的话题来给大家详细讲一讲实现方式。

c.Tengine-Lite支持Vulkan GPU

支持Vulkan GPU(适配高通/NV Xavier/x86独立GPU等),终于支持Vulkan了,撒花~

example:MobileNet + MobilenetSSD(CPU GPU异构)

d.Tengine-Lite支持Arm Mali GPU(ACL)

example:MobileNet + MobilenetSSD(CPU GPU异构)

e.Tengine-Lite模型转换工具Renew并升级

新增支持NCNN、MegEngine模型转换成Tengine .tmfile模型格式

f.新增alpha版本转换、量化工具

支持UINT8模型格式转换,目前版本支持转换fp32/fp16/INT8/UINT8模型格式,支持MIN-MAX,K-L量化算法,后续敬请期待~

g. 添加x86性能算子

比原先Tengine的更快,小伙伴们在x86平台做量化(KL量化校准)的时候很需要x86平台的推理性能,于是我们更新了一版x86性能也为其他量化算法开源(敬请期待)埋个伏笔

扫码添加OPEN AI LAB小助手,咨询产品/技术问题&加入技术交流群,和社群技术大佬畅聊AI

版本预告丨Tengine-Lite 8月版本即将更新哪些亮点功能?-OPEN AI LAB_第1张图片

OPEN AI LAB(开放智能)专注边缘智能计算及应用。自主知识产权的边缘AI推理框架Tengine于2017年在GitHub开源,开源链接为https://github.com/OAID/Tengine?csdn欢迎大家Star、Watch、Fork三连支持~~

ps:Tengine与OpenCV进行了深度战略合作,已通过ONNX官方认证,也被CSDN评为“开发者最喜爱的本土 AI 框架工具”!

你可能感兴趣的:(Tengine)