使用c++部署Pytorch---Msnhnet(1)

Msnhnet

一款轻量的用于推理pytorch模型的框架,该框架受darknet启发.使用c++部署Pytorch---Msnhnet(1)_第1张图片

Ps: 目前本框架在持续开发中,后续将支持GPU版本.也欢迎有志之士一块维护本框架. 欢迎Star.

git地址:https://github.com/msnh2012/Msnhnet

目前测试过的操作系统 (你可以自己测试下mac os)

windows linux mac os
checked
x
gpu
x
x
x

目前测试过的CPU (其它U出现BUG可以在issue提出)

Intel i7 树莓派4B Jeston NX(cpu)
checked

特点

  • 由纯c++编写完成, 不依赖其它第三方计算库, 同时也支持OpenBlas库.
  • 该框架自带一套类似netron的可视化工具, 可在编写Msnhnet文件时清晰掌握网络结构.使用c++部署Pytorch---Msnhnet(1)_第2张图片
  • 支持目前主流的操作系统,Windows, linux(Ubuntu测试), mac os(未测试).
  • 支持目前主流的cpu芯片, Intel X86,AMD(未测试) 和ARM.
  • 持续开发中…(也就晚上有时间… (╮(╯_╰)╭))

Yolo测试

  • Win10 MSVC 2017 I7-10700F (Linux平台大约比Win快10~20%,当然不是所有网络)

    net time
    yolov3 465ms
    yolov3_tiny 75ms
    yolov4 600ms
  • Win10 MSVC 2017 I7-10700F

    net yolov3 yolov3_tiny yolov4
    time 465ms 75ms 600ms
  • ARM(Yolov3Tiny cpu)

    cpu raspberry 3B raspberry 4B Jeston NX
    without NNPack 6s 2.5s 1.2s
    with NNPack 2.5s 1.1s 0.6s

其他已测试的网络(欢迎测试新的模型)

  • lenet5
  • lenet5_bn
  • alexnet
  • vgg16
  • vgg16_bn
  • resnet18
  • resnet34
  • resnet50
  • resnet101
  • resnet152
  • darknet53
  • googLenet
  • mobilenetv2
  • yolov3
  • yolov3_spp
  • yolov3_tiny
  • yolov4
  • 预训练模型下载
    百度云盘 提取码:1hlm

依赖

  • OpenCV4 https://github.com/opencv/opencv
  • yaml-cpp https://github.com/jbeder/yaml-cpp
  • Qt5 (可选. 编译Msnhnet viewer时使用) http://download.qt.io/archive/qt/

如何编译

  • CMake要求: CMake 3.10+

  • 编译选项
    使用c++部署Pytorch---Msnhnet(1)_第3张图片

  • ps. 你可以在CMakeLists.txt:43设置最大OMP占用线程, 默认是OMP使用所有CPU线程.(需取消勾选OMP_MAX_THREAD)

  • Windows平台编译(MSVC)

    • 1.使用CMake编译安装OpenCV4和Yaml-cpp.
    • 2.在环境变量中添加"OpenCV_DIR"和"yaml-cpp_DIR"变量, 并设置变量内容为每个库的CMake目录.
    • 3.下载安装Qt5.
    • 4.把Qt5的bin目录添加环境变量Path.
    • 5.最后使用CMake GUI工具配置Msnhnet然后使用Visual Studio编译安装.
  • Linux(Ubuntu)

    sudo apt-get install qt5-default      #optional
    sudo apt-get install libqt5svg5-dev   #optional
    sudo apt-get install libopencv-dev
    
    # build yaml-cpp
    git clone https://github.com/jbeder/yaml-cpp.git
    cd yaml-cpp
    mdir build 
    cd build 
    cmake ..
    make -j4
    sudo make install 
    
    #config 
    sudo echo /usr/local/lib > /etc/ld.so.conf/usrlib.conf
    sudo ldconfig
    
    # build Msnhnet
    git clone https://github.com/msnh2012/Msnhnet.git
    
    cd Msnhnet/build
    cmake -DCMAKE_BUILD_TYPE=Release ..  
    make -j4
    sudo make install
    
    vim ~/.bashrc # Last line add: export PATH=/usr/local/bin:$PATH
    

测试

  • 1.首先下载预训练模型并解压. eg.D:/models.
  • 2.打开终端或CMD, cd到安装目录. eg. D:/Msnhnet/bin
  • 3.测试 yolov3
    yolov3 D:/models
  • 4.测试 yolov3tiny_video
    yolov3tiny_video D:/models
  • 5.测试 classify
    classify D:/models
    使用c++部署Pytorch---Msnhnet(1)_第4张图片

使用MsnhnetViewer查看网络结构

  • 1.打开终端或CMD, cd到安装目录 eg. D:/Msnhnet/bin
  • 2.运行 “MsnhnetViewer”使用c++部署Pytorch---Msnhnet(1)_第5张图片
  • Ps. "ResBlock Res2Block AddBlock ConcatBlock"为网络层的封装, 你可以双击该块查看详细内容.

各个封装的结构
使用c++部署Pytorch---Msnhnet(1)_第6张图片
Res2Block
使用c++部署Pytorch---Msnhnet(1)_第7张图片
AddBlock
使用c++部署Pytorch---Msnhnet(1)_第8张图片
ConcatBlock
使用c++部署Pytorch---Msnhnet(1)_第9张图片
如何转换模型

  • 1.使用Pytorch加载你的模型, 并输出网络结构.
import torchvision.models as models
import torch
from torchsummary import summary 

md = models.resnet18(pretrained = True)
md.to("cpu")
md.eval()

print(md, file = open("net.txt", "a"))

summary(md, (3, 224, 224),device='cpu')
  • 2.根据网络结构, 编写Msnhnet文件, 跟darknet和caffe类似.
  • 3.导出msnhBin (具体细节请查看"pytorch2msnhbin/pytorch2msnhbin.py")
val = []
dd = 0
for name in md.state_dict():
        if "num_batches_tracked" not in name:
                c = md.state_dict()[name].data.flatten().numpy().tolist()
                dd = dd + len(c)
                print(name, ":", len(c))
                val.extend(c)

with open("alexnet.msnhbin","wb") as f:
    for i in val :
        f.write(pack('f',i))

关于训练

  • 使用pytorch版本的各个模型训练即可,训练完成后,按照上一步,构建Msnhnet即可.
    如yolov3/4. 使用U版: https://github.com/ultralytics/yolov3

加群交流
使用c++部署Pytorch---Msnhnet(1)_第10张图片

你可能感兴趣的:(深度学习,深度学习,Pytorch,Darknet,Msnhnet)