PyTorch的核心模块介绍

1. torch 模块

• 包含常用的常量、函数和类等。
• 常用函数：
  • torch.add （加法操作）
  • torch.relu （激活函数）
  • torch.equal （数值判断函数）
  • torch.randn （生成随机数函数）
  • torch.ones （创建数值为1的矩阵函数）

2. torch.Tensor 模块

• 该模块定义了不同数值类型的张量，比如整型、单精度浮点型、双精度浮点型。
• Tensor包含了众多的属性，常用的属性包括维度属性、设备属性、类型属性等。
• Tensor还包含了很多函数，常用的方法包括数值运算、逻辑运算、索引操作等。

3. torch.nn 模块

• 该模块是构建神经网络的核心模块。
• 模块中定义了卷积、批归一化、激活、全连接、损失函数等。
• 常规的卷积神经网络和损失函数都可以借助torch.nn模块完成。
• torch.nn.functional 模块提供了神经网络的常用函数，比如卷积函数、池化函数、激活函数等。这些函数的作用和torch.nn木块中包含的类具有一致的功能。
• torch.nn.init 模块提供了模型初始化的各种常见策略，比如：
  • torch.nn.init.constant_(常量初始化)
  • torch.nn.init.uniform_(均匀分布初始化)
  • torch.nn.init.normal_(正态分布初始化) 等。
• 可以使用 torch.nn.init 模块中的初始化函数完成神经网络中卷积层、BN层以及全连接层的参数初始化过程。

4. torch.optim 模块

• 优化器
  • torch.optim.SGD
  • torch.optim.RMSProp
  • torch.optim.Adam
• 学习率调整算法（torch.optim.lr_scheduler）
  • torch.optim.lr_scheduler.StepLR（固定步长学习率调整）
  • torch.optim.lr_scheduler.CosineAnnealingLR（余弦退火学习率调整）

5. torch.jit 模块

• jit 的全称是Just-In-Time 翻译为 即时编译器。
• 使用 jit 模块导出的静态图能够被 C++ 和 Java 等语言调用。

6. torch.onnx 模块

• 该模块可以将PyTorch训练的模型转换为符合 onnx 格式（Open Neural Network Exchange，开放神经网络交换）的模型。

7. torch.utils 模块

• 该模块包含多个子模块，用于辅助训练、测试和优化过程。
• torch.utils.data 提供了数据读取的高效解决方案，可通过 Dataset 和 DataLoader 配合的模式完成 mini-batch 训练模式所需要的 batch 数据。
• torch.utils.bottleeneck 模块用于测试各部件的云心时间，帮助用户完成优化分析。
• torch.utils.checkpoint 模块用于显存的优化，这里 checkpoint 的语义 和 TensorFlow 中是不同的。
• torch.utils.cpp_extensions 定义了C++的扩展功能，能够方便用户使用C++语言实现更多的自定义操作。

8. torch.autograd模块

• 该模块是自动求导功能的核心模块，支持浮点型张量的求导计算，是神经网络训练过程所用到的核心模块之一。

9.其他模块

• torch.spase 模块定义了系数张量和相关函数；
• torch.distributed 模块提供了分布式训练功能，可以实现大规模并行计算；
• torch.hub 模块提供了众多的预训练模型，用户可以在线下载模型并保存到本地；
• torch.multiprocessing 模块包含了多线程操作，以提高模型的训练效率；
• torch.random 模块提供了随机数生成器，可以用于神经网络初始化过程中的随机种子的设定。

参考书籍《PyTorch神经网络实战》