PyTorch C++ API

这些页面提供了 PyTorch C++ API 公共部分的文档。这个 API 大致可以分为五个部分:

  • ATen: 构建所有其他内容的基础张量和数学运算库。
  • Autograd: 通过自动微分增强 ATen。
  • C++ Frontend: 用于训练和评估机器学习模型的高级构造。
  • TorchScript: TorchScript JIT 编译器和解释器的接口。
  • C++ Extensions: 一种使用自定义 C++ 和 CUDA 例程扩展 Python API 的方法。

结合起来,这些构建块形成了一个研究和生产就绪的 C++ 库,用于张量计算和动态神经网络,重点是 GPU 加速和快速的 CPU 性能。它目前在 Facebook 的研究和生产中使用;我们期待欢迎更多 PyTorch C++ API 用户。

  • 目前,C++ API 应该被认为是“beta”稳定性;我们可能会对后端进行重大的重大更改,以改进 API,或为 PyTorch 提供 Python 接口,这是我们最稳定和最受支持的接口。

ATen

ATen 本质上是一个张量库,PyTorch 中几乎所有其他 PythonC++ 接口都建立在它之上。它提供了一个核心 Tensor 类,在该类上定义了数百个操作。这些操作中的大多数都有 CPUGPU 实现,Tensor 类将根据其类型动态调度到它们。一个使用 ATen 的小例子如下所示:

#include 

at::Tensor a = at::ones({2, 2}, at::kInt);
at::Tensor b = at::randn({2, 2});
auto c = a + b.to(at::kInt);

这个 Tensor 类和 ATen 中的所有其他符号都可以在 at:: 命名空间中找到,记录在此处。

Autograd

我们所说的 autograd 是 PyTorch’s C++ API 的一部分,它通过自动微分功能增强了 ATen Tensor 类。autograd 系统记录对张量的操作以形成 autograd 图。对该图中的叶变量调用“backwards()”,通过跨越 autograd 图中的函数和张量网络执行反向模式微分,最终产生梯度。以下示例提供了此界面的体验:

#include 
#include 

torch::Tensor a = torch::ones({2, 2}, torch::requires_grad());
torch::Tensor b = torch::randn({2, 2});
auto c = a + b;
c.backward(); // a.grad() will now hold the gradient of c w.r.t. a.

ATen 中的at::Tensor 类默认是不可微的。要添加 autograd API 提供的张量的可微性,您必须使用来自 torch:: 命名空间而不是 at:: 命名空间的张量工厂函数。例如,虽然使用 at::ones 创建的张量将不可微,但使用 torch::ones 创建的张量将是可微的。

C++ Frontend

PyTorch C++ 前端为神经网络和一般 ML(机器学习)研究和生产用例提供了一个高级的纯 C++ 建模接口,在设计和提供的功能上很大程度上遵循 Python API。 C++ 前端包括以下内容:

  • 通过分层模块系统定义机器学习模型的接口(如torch.nn.Module);
  • 用于最常见建模目的(例如卷积、RNN、批量归一化等)的预先存在模块的“标准库”;
  • 优化 API,包括流行优化器的实现,如 SGD、Adam、RMSprop 等;
  • 一种表示数据集和数据管道的方法,包括在多个 CPU 内核上并行加载数据的功能;
  • 用于存储和加载训练任务 checkpoints 的序列化格式(如torch.utils.data.DataLoader);
  • 模型在多个 GPU 上的自动并行化(如“torch.nn.parallel.DataParallel”);
  • 支持使用pybind11轻松将C++模型绑定到Python的代码;
  • TorchScript JIT 编译器的入口点;
  • 有助于与 ATen 和 Autograd API 接口的有用实用程序。

有关 C++ 前端的更详细说明,请参阅 本文档。 torch:: 命名空间中与 C++ Frontend 相关的相关部分包括 torch::nn、torch::optim, torch::data, torch::serialize, torch::jit 和 torch::python。C++ 前端的示例可以在这个存储库中找到,它正在持续和积极地扩展。

  • 除非你有特别的理由限制自己只使用 ATen 或 Autograd API,否则 C++ 前端是 PyTorch C++ 生态系统的推荐入口点。虽然它仍处于测试阶段,因为我们收集用户反馈(来自您!),但它提供了比 ATen 和 Autograd API 更多的功能和更好的稳定性保证。

TorchScript

TorchScript 是一种 PyTorch 模型的表示,可以被 TorchScript 编译器理解、编译和序列化。从根本上说,TorchScript 本身就是一种编程语言。它是使用 PyTorch API 的 Python 子集。TorchScript 的 C++ 接口包含三个主要功能:

  • 一种在 Python 中定义的加载和执行序列化 TorchScript 模型的机制;
  • 用于定义扩展 TorchScript 标准操作库的自定义操作符的 API;
  • 从 C++ 实时编译 TorchScript 程序。

如果您想尽可能在 Python 中定义模型,但随后将它们导出到 C++ 以用于生产环境和非 Python 推理,则第一种机制可能对您很感兴趣。 您可以通过点击这个链接了解更多相关信息。第二个 API 涉及您希望使用自定义运算符扩展 TorchScript 的场景,这些运算符同样可以在推理期间从 C++ 序列化和调用。最后,torch::jit::compile 函数可用于直接从 C++ 访问 TorchScript 编译器。

C++ Extensions

C++ 扩展 提供了一种访问上述所有接口的简单而强大的方法,目的是扩展 PyTorch 的常规 Python 用例。C++ 扩展最常用于在 C++ 或 CUDA 中实现自定义运算符,以加速对普通 PyTorch 设置的研究。C++ 扩展 API 没有向 PyTorch C++ API 添加任何新功能。 相反,它提供了与 Python setuptools 的集成以及允许访问 ATen 的 JIT 编译机制,来自 Python 的 autograd 和其他 C++ API。要了解有关 C++ 扩展 API 的更多信息,请阅读本教程。

内容

  • 安装 PyTorch 的 C++ 发行版
    • 最小示例
    • Visual Studio 扩展
    • 支持
  • C++ 前端
    • 说明
    • 端到端示例
    • 哲学
    • 安装
  • 库API
    • 类层次结构
    • 文件层次结构
    • 完整API

笔记

  • 常见问题
  • 推理模式
  • MaybeOwned
  • 张量基础
  • 张量创建 API
  • 张量 CUDA 流 API
  • 张量索引 API
  • 库版本控制

指数和表格

  • Index
  • Module Index
  • Search Page

致谢

这个 PyTorch C++ 领域的文档网站由 Exhale 项目启用,并由其维护者 svenevs 投入大量时间和精力。 我们感谢 Stephen 在 PyTorch C++ 文档方面所做的工作和努力。

你可能感兴趣的:(PyTorch,pytorch,c++,python)