PaddleLite简单梳理

下载和编译:

  1. github网络原因clone代码非常慢,推荐换用gitee的服务器,https://gitee.com/paddlepaddle/paddle-lite.git
  2. clone后,可以通过修改.git/config中的url为https://github.com/PaddlePaddle/Paddle-Lite.git来与github仓库保持同步
  3. third-party中的自仓同理,也可一并用gitee的镜像仓库替换。除了thirdparty中附带的子仓之外,paddle-lite还会在build时根据cmakelist自动从github克隆众多依赖库,速度非常慢,容易卡死,推荐参考lite/tools中各平台的傻瓜式编译脚本,脚本中会从百度官方源下载依赖包,速度非常快。

依赖

  1. mkldnn & mklml 英特尔深度学习加速库
  2. protobuf 序列化数据结构,用于解析模型等
  3. gflags 谷歌命令行解析工具库
  4. glog 谷歌日志库
  5. gtest 谷歌测试框架
  6. eigen 高性能矩阵运算库
  7. xbyak 汇编库,可以在C++程序中手写汇编存储在内存中调用
  8. xxhash 超快速非加密哈希算法

源码目录结构

ps:代码大部分位于lite目录下,metal(苹果的GPU运算加速库也叫metal,应该就是IOS的内容了)和mobile是从paddle-mobile迁移过来的移动端代码,这里不予探讨

又ps:官方文档中已有较详细的描述的部分在此不做赘述

再ps:应用开发者只需要关心api部分即可,硬件后端适配人员或框架开发者需要关注全部内容

最后一次ps:paddlelite因为开发时间尚短,需要支持的硬件端过于繁多,代码难免杂乱,质量也有提升空间,但毕竟是少有的国产开源项目,大家多多包容

  • api:对外接口封装和相应测试(吐槽下,目录结构有点乱,外面有个单独的test目录这里还乱放接口测试文件),包括了android接口(需要NDK),C++全尺寸接口,C++轻量级接口(一个全尺寸库200M+,移动端吃不消),python接口(pybind11实现)
  • core:核心模块,包含了类型系统,硬件描述,内存操作,变量域,推理程序,operator基类(对算子的IO描述以及实现管理),kernel基类(算子的硬件实现),MIR(Machine IR,图优化),性能分析工具(profiler),封装了gtest的arena测试框架(??测试框架放在core里面??而且还依赖gtest)
  • backend:内存操作,context等硬件相关的基础操作,和部分数学函数的硬件端实现
  • operator:各类算子实现(operator负责检查输入shape,推理输出shape,以及管理算子参数和kernel的实现)
  • kernel:算子的硬件实现
  • model_parser:依赖protobuf的模型描述相关实现(读取模型就靠它啦),也包含对op和program的描述
  • gen_code:编译时生成代码
  • fluid:数据类型(float16,int等)描述,和一些tricks封装,(感觉可以和utils合并一下?)
  • utils:鉴于使用C++11标准,boost库又太庞大,抄过来的any和variant实现(但是variant实现在varient里面,variant.h里面是编译器优化的宏??),还有借鉴glog的日志系统(轻量级编译的时候用于替换glog,通过cp_logging实现代码不变,条件编译决定采用哪一个日志实现)
  • tools:各平台的傻瓜式编译脚本,dockerfile等
  • test:各类没有放在待测源代码目录下的测试文件
  • demo:C++,python,java三种demo

issue

未提issue

  1. 模型接口统一

PROCESSING

  1. [#3496] python库中包含未选择编译的内容
  2. [#3494] 单例的实现存在内存泄漏

CLOSED

  1. [#3291] 框架中注入了多余的符号,强制应用层引入不必要的依赖
  2. [#3292] model_parser使用了protobuf即将废弃的接口ByteSize
  3. [#3313] profile缺少头文件,编译失败
  4. [#3356] tensor的slice内存共享设计缺陷导致multiclassnms不支持batchsize大于1的情况
  5. [#3406] 编译过程中大量sign-compare的warning
  6. 同时打开test和python编译会强制编译ARM的单元测试(未提issue已修复)

传送门

官方源码仓库:https://github.com/PaddlePaddle/Paddle-Lite
WeChat Official Account: PaddlePaddle
QQ Group Chat: 696965088

你可能感兴趣的:(PaddleLite简单梳理)