AI编译器与TPU-MLIP

文章目录

  • 前言
  • 一、AI编译器
    • 传统编译器与AI编译器
    • 部署深度模型
  • 二、TPU-MLIP
    • TPU-MLIP整体架构
    • 以YOLOV5s的转换为例
  • 三、MLIR上
    • 什么是MLIR
    • IR中间表达
    • Dialect
  • MLIR中
  • 总结


前言

b站学习视频


一、AI编译器

传统编译器与AI编译器

AI编译器与TPU-MLIP_第1张图片
传统编译器的作用是降低编程难度;
AI编译器的作用主要是为了提高网络的性能;

部署深度模型



AI编译器与TPU-MLIP_第2张图片
AI编译器与TPU-MLIP_第3张图片
AI编译器与TPU-MLIP_第4张图片

二、TPU-MLIP

TPU-MLIP整体架构

AI编译器与TPU-MLIP_第5张图片
在模型转换的过程中会进行推理保证模型转换的正确性。
AI编译器与TPU-MLIP_第6张图片

以YOLOV5s的转换为例

AI编译器与TPU-MLIP_第7张图片

三、MLIR上

什么是MLIR

IR中间表达

AI编译器与TPU-MLIP_第8张图片
AI编译器与TPU-MLIP_第9张图片
AI编译器与TPU-MLIP_第10张图片

Dialect

Dialect主要包括以下几个方面:
AI编译器与TPU-MLIP_第11张图片
AI编译器与TPU-MLIP_第12张图片

MLIR中



AI编译器与TPU-MLIP_第13张图片
location用于表示operation对应源代码中的位置;operation是MLIR中的一个基本执行单元,它的作用是可以对于特定dialect下可以对源码或上一层IR进行表达,并通过operation对其进行各种变换以达到编译优化的效果,一个完整那个的operation组成如下:

AI编译器与TPU-MLIP_第14张图片


总结

首先关于传统编译器与AI编译器的区别,我觉得很直接,传统编译器主要是将我们使用的c++、java、python语言编译成机器可以理解的二进制码,而AI编译器主要是用于对模型进行加速。

你可能感兴趣的:(AI编译器,人工智能,c++,编辑器,ai)