C++调用pytorch模型（vs2015+libtorch+pytorch）

C++调用pytorch模型（vs2015+libtorch+pytorch）

参考网站
另一个网站：知乎平台

1.开发环境

vs2015+windows10

2.转换模型

pytorch的C++版本用的是Torch Script，官方给了两种将pytorch模型转成Torch Script的方法。这里主要介绍第一种Tracing。

3.准备工作

（1）在Pytorch官网下载所需要的Libtorch版本，有GPU版本和CPU版本，而且有DEBUG和RELEASE区别。

Eg:我所需要的版本是这样的，第一项选择Stable(1.1)就好，第五项（9.0,10.0与None）说的是自己的CUDA版本，请参考我的第一篇博客。
（2）解压到一个新的文件夹。

（3）接下来，和之前配置OpenCV是类似的。新建一个VS项目工程（新建-win32控制台程序），然后添加一个源文件进行使用；视图-其他窗口-属性管理器（这里以Release版本为例）

（4）右击Release|x64下的Microsoft.Cpp.x64.user，选择属性,VC++目录，将相应的include和lib加到包含目录和库目录。
（5）在连接器中，加入如下：
c10.lib
caffe2.lib
caffe2_detectron_ops.lib
caffe2_module_test_dynamic.lib
clog.lib
cpuinfo.lib
foxi_dummy.lib
foxi_loader.lib
libprotobuf.lib
libprotobuf-lite.lib
libprotoc.lib
onnx.lib
onnx_proto.lib
onnxifi_dummy.lib
onnxifi_loader.lib
torch.lib
（6）还有一个地方需要修改：属性->C/C++ ->常规->SDL检查->否。
（7）将最初Libtorch解压缩到的文件中的lib文件夹，将其中所有的.dll文件复制。

（8）在第三步中新建的ConsoleApplication4，在这里选择x64-Release文件夹，将（1）中的复制文件粘贴至此。

4.保存网络模型，生成.pt文件

（说明：这里训练的网络是resnet18,CIFAR10数据集）

import torch
import torchvision

# An instance of your model.
model = torchvision.models.resnet18()#这里保存的模型是自己训练好的网络模型

# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 224, 224)

# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(model, example)
traced_script_module.save("model.pt")

5.在VS2015中加载使用网络模型

#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main() {
	// Deserialize the ScriptModule from a file using torch::jit::load().
	std::shared_ptr<torch::jit::script::Module> module = torch::jit::load("F:/project/尝试1/model.pt");

	assert(module != nullptr);
	std::cout << "ok\n";
	std::cout << module <<'\n' ;
	// Create a vector of inputs.
	std::vector<torch::jit::IValue> inputs;
	inputs.push_back(torch::ones({ 1, 3, 224, 224 }));

	// Execute the model and turn its output into a tensor.
	at::Tensor output = module->forward(inputs).toTensor();

	std::cout << output.slice(1, 0, 5) << '\n';
	while (1);
}

（2）结果如下