【深度学习】PyTorch v2.6 Overview

PyTorch 是一个优化的张量库，用于使用 GPU 和 CPU 进行深度学习。

Python API

序号	API	名称	解释
1	torch	PyTorch 核心库(中文:火炬)	PyTorch 的核心库，提供了张量操作、自动求导等基础功能。
2	torch.nn	神经网络模块	包含构建神经网络所需的各种模块，如层、损失函数等。
3	torch.nn.functional	神经网络函数	提供了许多与神经网络相关的函数，如激活函数、卷积操作等。
4	torch.Tensor	张量	PyTorch 中用于表示多维数组的基本数据结构。
5	Tensor Attributes	张量属性	用于描述张量的各种特性，如形状、数据类型等。
6	Tensor Views	张量视图	提供对张量数据的不同视角，不改变底层数据。
7	torch.amp	自动混合精度	用于在训练过程中自动混合使用单精度和半精度浮点数，以提高训练效率。
8	torch.autograd	自动求导	实现自动计算梯度的功能，是 PyTorch 实现反向传播的基础。
9	torch.library	库	用于管理和组织自定义操作和函数。
10	torch.accelerator	加速器	用于支持不同的硬件加速器，如 GPU、TPU 等。
11	torch.cpu	CPU	表示使用中央处理器进行计算。
12	torch.cuda	CUDA	用于支持 NVIDIA GPU 计算的库。
13	Understanding CUDA Memory Usage	理解 CUDA 内存使用情况	帮助用户了解和管理 CUDA 设备上的内存使用。
14	Generating a Snapshot	生成快照	用于生成 CUDA 内存使用的快照。
15	Using the visualizer	使用可视化工具	借助可视化工具查看 CUDA 内存使用情况。
16	Snapshot API Reference	快照 API 参考	提供生成和管理 CUDA 内存快照的 API 文档。
17	torch.mps	苹果 Metal Performance Shaders	用于在苹果设备上利用 Metal 进行加速计算。
18	torch.xpu	XPU（通用加速器）	可指代不同类型的硬件加速器。
19	torch.mtia	Meta 张量内存集成架构	Meta 相关的张量内存管理架构。
20	torch.mtia.memory	Meta 张量内存管理	Meta 架构下的张量内存管理模块。
21	Meta device	Meta 设备	Meta 相关的计算设备抽象。
22	torch.backends	后端	管理不同的计算后端，如 CUDA、MKL 等。
23	torch.export	导出	用于将 PyTorch 模型导出为其他格式。
24	torch.distributed	分布式计算	支持在多个设备或节点上进行分布式训练。
25	torch.distributed.tensor	分布式张量	用于在分布式环境下处理张量。
26	torch.distributed.algorithms.join	分布式算法联合	与分布式算法的联合操作相关。
27	torch.distributed.elastic	弹性分布式训练	支持在分布式训练中动态调整节点数量。
28	torch.distributed.fsdp	完全分片数据并行	一种分布式训练策略，可减少内存使用。
29	torch.distributed.fsdp.fully_shard	完全分片	FSDP 中的完全分片操作。
30	torch.distributed.tensor.parallel	分布式张量并行	在分布式环境下进行张量并行计算。
31	torch.distributed.optim	分布式优化器	用于在分布式训练中进行参数优化。
32	torch.distributed.pipelining	分布式流水线	支持分布式训练中的流水线并行。
33	torch.distributed.checkpoint	分布式检查点	用于在分布式训练中保存和恢复模型状态。
34	torch.distributions	概率分布	提供各种概率分布类，用于生成随机样本和计算概率。
35	torch.compiler	编译器	用于对 PyTorch 模型进行编译优化。
36	torch.fft	快速傅里叶变换	实现快速傅里叶变换相关操作。
37	torch.func	函数式编程	支持 PyTorch 的函数式编程风格。
38	torch.futures	异步执行	用于异步执行任务和处理未来结果。
39	torch.fx	函数式中间表示	用于对 PyTorch 模型进行符号化表示和转换。
40	torch.fx.experimental	实验性 FX 功能	包含一些处于实验阶段的 FX 相关功能。
41	torch.hub	模型仓库	提供预训练模型的下载和使用功能。
42	torch.jit	即时编译	用于将 PyTorch 模型编译为可执行代码，提高运行效率。
43	torch.linalg	线性代数	提供线性代数相关的操作，如矩阵乘法、求逆等。
44	torch.monitor	监控	用于监控 PyTorch 程序的运行状态。
45	torch.signal	信号处理	提供信号处理相关的操作。
46	torch.special	特殊函数	包含一些特殊的数学函数。
47	torch.overrides	操作重载	用于重载 PyTorch 的操作符。
48	torch.package	模型打包	用于将 PyTorch 模型及其依赖打包。
49	torch.profiler	性能分析器	用于分析 PyTorch 程序的性能瓶颈。
50	torch.nn.init	参数初始化	提供神经网络参数的初始化方法。
51	torch.nn.attention	注意力机制	用于实现注意力机制相关的模块。
52	torch.onnx	ONNX 导出	用于将 PyTorch 模型导出为 ONNX 格式。
53	torch.optim	优化器	提供各种优化算法，如 SGD、Adam 等。
54	Complex Numbers	复数	支持复数运算的相关功能。
55	DDP Communication Hooks	分布式数据并行通信钩子	用于自定义分布式数据并行训练中的通信行为。
56	Quantization	量化	用于将模型参数和计算进行量化，以减少内存使用和提高推理速度。
57	Distributed RPC Framework	分布式远程过程调用框架	支持在分布式环境下进行远程过程调用。
58	torch.random	随机数生成	用于生成随机数。
59	torch.masked	掩码操作	支持使用掩码对张量进行操作。
60	torch.nested	嵌套张量	用于处理嵌套结构的张量。
61	torch.Size	张量大小	表示张量的形状。
62	torch.sparse	稀疏张量	用于处理稀疏数据的张量类型。
63	torch.Storage	存储	表示张量数据的底层存储。
64	torch.testing	测试工具	提供用于测试 PyTorch 代码的工具。
65	torch.utils	工具包	包含各种实用工具函数和类。
66	torch.utils.benchmark	基准测试	用于对 PyTorch 代码进行基准测试。
67	torch.utils.bottleneck	性能瓶颈分析	帮助找出 PyTorch 程序的性能瓶颈。
68	torch.utils.checkpoint	检查点机制	用于减少内存使用的检查点技术。
69	torch.utils.cpp_extension	C++ 扩展	用于编写和使用 PyTorch 的 C++ 扩展。
70	torch.utils.data	数据处理	提供数据加载和处理的工具。
71	torch.utils.deterministic	确定性计算	确保 PyTorch 计算的结果具有确定性。
72	torch.utils.jit	JIT 工具	与即时编译相关的实用工具。
73	torch.utils.dlpack	DLPack 支持	用于与其他深度学习框架进行数据交换。
74	torch.utils.mobile_optimizer	移动优化器	用于优化 PyTorch 模型在移动设备上的性能。
75	torch.utils.model_zoo	模型库	提供预训练模型的管理和下载。
76	torch.utils.tensorboard	TensorBoard 集成	用于将 PyTorch 训练过程可视化到 TensorBoard 中。
77	torch.utils.module_tracker	模块跟踪器	用于跟踪 PyTorch 模块的使用情况。
78	Type Info	类型信息	提供 PyTorch 数据类型的相关信息。
79	Named Tensors	命名张量	支持为张量的维度命名，提高代码可读性。
80	Named Tensors operator coverage	命名张量操作覆盖范围	表示命名张量支持的操作范围。
81	torch.config	配置信息	提供 PyTorch 的配置信息。
82	torch.future	未来特性	包含一些处于实验阶段的未来特性。
83	torch._logging	日志记录	用于 PyTorch 的日志记录功能。
84	Torch Environment Variables	Torch 环境变量	用于配置 PyTorch 运行环境的变量。

Libraries

序号	LIB	名称	解释
1	torchaudio	音频处理库	用于音频数据的处理、加载和模型训练。
2	TorchData	数据处理库	提供数据加载和处理的工具和接口。
3	TorchRec	推荐系统库	用于构建和训练推荐系统模型。
4	TorchServe	模型服务库	用于将 PyTorch 模型部署为服务。
5	torchtext	文本处理库	用于文本数据的处理、加载和模型训练。
6	torchvision	计算机视觉库	提供计算机视觉相关的数据集、模型和工具。
7	PyTorch on XLA Devices	XLA 设备上的 PyTorch	支持在 XLA 设备（如 TPU）上运行 PyTorch 模型。