PyTorch的核心模块介绍

PyTorch的核心模块介绍

  • 1. torch 模块
  • 2. torch.Tensor 模块
  • 3. torch.nn 模块
  • 4. torch.optim 模块
  • 5. torch.jit 模块
  • 6. torch.onnx 模块
  • 7. torch.utils 模块
  • 8. torch.autograd模块
  • 9.其他模块

1. torch 模块

  • 包含常用的常量、函数和类等
  • 常用函数:
    • torch.add (加法操作)
    • torch.relu (激活函数)
    • torch.equal (数值判断函数)
    • torch.randn (生成随机数函数)
    • torch.ones (创建数值为1的矩阵函数)

2. torch.Tensor 模块

  • 该模块定义了不同数值类型的张量,比如整型、单精度浮点型、双精度浮点型
  • Tensor包含了众多的属性,常用的属性包括维度属性、设备属性、类型属性等。
  • Tensor还包含了很多函数,常用的方法包括数值运算、逻辑运算、索引操作等。

3. torch.nn 模块

  • 该模块是构建神经网络的核心模块。
  • 模块中定义了卷积、批归一化、激活、全连接、损失函数等。
  • 常规的卷积神经网络和损失函数都可以借助torch.nn模块完成。
  • torch.nn.functional 模块提供了神经网络的常用函数,比如卷积函数、池化函数、激活函数等。这些函数的作用和torch.nn木块中包含的类具有一致的功能。
  • torch.nn.init 模块提供了模型初始化的各种常见策略,比如:
    • torch.nn.init.constant_(常量初始化)
    • torch.nn.init.uniform_(均匀分布初始化)
    • torch.nn.init.normal_(正态分布初始化) 等。
  • 可以使用 torch.nn.init 模块中的初始化函数完成神经网络中卷积层、BN层以及全连接层的参数初始化过程。

4. torch.optim 模块

  • 优化器
    • torch.optim.SGD
    • torch.optim.RMSProp
    • torch.optim.Adam
  • 学习率调整算法(torch.optim.lr_scheduler)
    • torch.optim.lr_scheduler.StepLR(固定步长学习率调整)
    • torch.optim.lr_scheduler.CosineAnnealingLR(余弦退火学习率调整)

5. torch.jit 模块

  • jit 的全称是Just-In-Time 翻译为 即时编译器
  • 使用 jit 模块导出的静态图能够被 C++ 和 Java 等语言调用。

6. torch.onnx 模块

  • 该模块可以将PyTorch训练的模型转换为符合 onnx 格式(Open Neural Network Exchange,开放神经网络交换)的模型。

7. torch.utils 模块

  • 该模块包含多个子模块,用于辅助训练、测试和优化过程。
  • torch.utils.data 提供了数据读取的高效解决方案,可通过 DatasetDataLoader 配合的模式完成 mini-batch 训练模式所需要的 batch 数据。
  • torch.utils.bottleeneck 模块用于测试各部件的云心时间,帮助用户完成优化分析。
  • torch.utils.checkpoint 模块用于显存的优化,这里 checkpoint 的语义 和 TensorFlow 中是不同的。
  • torch.utils.cpp_extensions 定义了C++的扩展功能,能够方便用户使用C++语言实现更多的自定义操作。

8. torch.autograd模块

  • 该模块是自动求导功能的核心模块,支持浮点型张量的求导计算,是神经网络训练过程所用到的核心模块之一。

9.其他模块

  • torch.spase 模块定义了系数张量和相关函数;
  • torch.distributed 模块提供了分布式训练功能,可以实现大规模并行计算;
  • torch.hub 模块提供了众多的预训练模型,用户可以在线下载模型并保存到本地;
  • torch.multiprocessing 模块包含了多线程操作,以提高模型的训练效率;
  • torch.random 模块提供了随机数生成器,可以用于神经网络初始化过程中的随机种子的设定。

参考书籍《PyTorch神经网络实战》

你可能感兴趣的:(深度学习,pytorch,深度学习,人工智能)