pytorch模型里 safetensors 文件、bin文件和pth文件区别、加载和保存方式

目录

PyTorch模型中的safetensors文件和bin文件区别

safetensors文件

bin文件

结论

区别bin文件和pth文件

1. 文件格式

2. 通用性

3. 期望内容

4. 兼容性和移植性

结论

加载和保存safetensors文件

保存safetensors文件

加载safetensors文件

加载和保存bin文件

保存bin文件

加载bin文件

结论

保存.pth文件

使用torch.save()函数保存模型的状态字典

使用torch.save()函数保存整个模型

加载.pth文件

加载模型的状态字典

加载整个模型

注意事项

备注：

整个模型与模型状态字典的区别

1. 整个模型（Full Model）

2. 模型状态字典（Model State Dict）

结论

---

PyTorch模型中的safetensors文件和bin文件区别

safetensors文件

1. 格式：safetensors是PyTorch框架中的一种文件格式，用于安全地保存和加载张量数据。
2. 用途：它通常用于存储模型的权重和其他参数，确保数据在保存时不会丢失精度，并且在不同的系统和设备之间具有更好的兼容性。
3. 特点：safetensors格式的文件可能包含了一些额外的元数据，用于验证数据的完整性和一致性。

bin文件

1. 格式：bin是一种通用的二进制文件格式，它可以被用来存储各种类型的数据，包括但不限于模型权重。
2. 用途：在PyTorch中，.bin文件通常与模型的配置文件一起使用，用于保存和加载预训练模型的权重。
3. 特点：bin文件不特定于PyTorch，它不包含用于验证的元数据，因此在跨平台使用时可能需要额外的处理来确保兼容性和数据的正确性。

结论

• 主要区别：safetensors文件是PyTorch特有的，更注重数据的安全性和兼容性；而bin文件是一种更通用的二进制格式，可能用于多种不同的应用场景。
• 在PyTorch模型中的使用：两者都可以用来保存模型参数，但safetensors可能提供了更多关于数据安全和校验的特性。

区别bin文件和pth文件

1. 文件格式

• .bin文件：通常是一个二进制格式的文件，它不特定于PyTorch，并可以用于存储任何类型的二进制数据。在机器学习中，.bin文件有时用于保存模型权重，但这并不是一个由PyTorch强制的标准。
• .pth文件：是PyTorch特有的文件扩展名，通常用于保存模型的状态字典（state_dict），也可以用于保存整个模型。

2. 通用性

• .bin文件：由于是通用的二进制格式，它不仅可以在PyTorch中使用，还可以在其他框架或自定义程序中使用。
• .pth文件：更具体地与PyTorch相关，通常表示该文件是使用PyTorch的API创建和预期使用的。

3. 期望内容

• .bin文件：没有特定的期望内容，它可以包含任何二进制数据。如果在PyTorch中使用，需要确保你知道如何正确地解析文件中的内容。
• .pth文件：通常期望包含PyTorch模型的状态字典，或者是保存整个模型对象的序列化形式。

4. 兼容性和移植性

• .bin文件：可能需要额外的处理才能在不同的系统或框架中使用。
• .pth文件：由于它是与PyTorch紧密关联的，通常可以在不同的系统上使用PyTorch进行加载而不需要额外的处理。

结论

• 文件用途：.bin文件可以用于多种用途，包括但不限于保存模型权重，而.pth文件在PyTorch中通常用于保存模型的状态字典或整个模型。
• 框架关联：.pth文件与PyTorch框架紧密相关，而.bin文件更通用。
• 加载方式：加载.bin文件可能需要自定义的解析方法，而.pth文件可以直接通过PyTorch的torch.load函数加载。

在PyTorch中，不论是保存为.bin还是.pth，重要的是保存的内容和加载时的兼容性。通常情况下，使用.pth作为文件扩展名是PyTorch社区中的一个约定俗成的做法。

加载和保存safetensors文件

保存safetensors文件

import torch # 假设model是一个PyTorch模型实例 model = ... # 保存模型的参数 torch.save(model.state_dict(), 'model_safetensors.pth', _use_new_zipfile_serialization=True)

加载safetensors文件

# 加载模型的参数 model.load_state_dict(torch.load('model_safetensors.pth'))

加载和保存bin文件

保存bin文件

# 假设model是一个PyTorch模型实例 model = ... # 保存模型的参数 torch.save(model.state_dict(), 'model_weights.bin')

加载bin文件

# 加载模型的参数 model.load_state_dict(torch.load('model_weights.bin'))

结论

• 保存：无论是safetensors文件还是bin文件，都可以使用torch.save函数来保存PyTorch模型的参数。对于safetensors，可以通过指定_use_new_zipfile_serialization=True参数来确保使用新的zipfile序列化格式。
• 加载：同样地，两种文件格式都可以使用torch.load函数来加载，然后使用模型的load_state_dict方法将参数加载到模型中。

在实际操作中，应确保保存和加载时使用相同的文件格式，以避免兼容性问题。此外，当涉及到跨平台或者长期存储时，使用safetensors格式可能更为安全可靠。

保存.pth文件

使用torch.save()函数保存模型的状态字典

import torch # 假设model是你的PyTorch模型 model = ... # 保存模型的状态字典 torch.save(model.state_dict(), 'model.pth')

使用torch.save()函数保存整个模型

# 保存整个模型 torch.save(model, 'model_complete.pth')

加载.pth文件

加载模型的状态字典

# 假设model是你的PyTorch模型的一个实例 model = ... # 加载状态字典 model.load_state_dict(torch.load('model.pth')) # 确保在评估模式下使用模型，关闭Dropout等 model.eval()

加载整个模型

# 加载整个模型 model = torch.load('model_complete.pth') # 确保在评估模式下使用模型，关闭Dropout等 model.eval()

注意事项

• 在加载模型的状态字典时，你需要先有一个与保存的模型架构相同的模型实例。
• 当保存整个模型时，PyTorch会保存模型的架构以及状态字典。但这种方式可能在跨平台或在不同的环境中存在兼容性问题，因为模型的保存是依赖于具体的类定义的。
• 在加载模型之后，通常将模型设置为评估模式 (model.eval())，这对于进行预测或评估模型性能是必要的，因为某些层（如Dropout和BatchNorm）在训练和评估时的行为不同。
• 如果你在一个不同的环境中加载模型，确保所有自定义的类和方法都已经定义，以便PyTorch能够正确地重建模型。
• 在保存和加载模型时，如果你使用的是GPU，可能需要在torch.load时添加map_location参数，以指定模型应该加载到哪个设备上。

备注：

整个模型与模型状态字典的区别

1. 整个模型（Full Model）

• 定义：保存整个模型包括了模型的架构信息和参数权重。这意味着你可以在没有原始模型定义的情况下重建整个模型。
• 保存内容：模型的类定义、结构和状态字典（包括所有参数和缓存）。
• 优点：
  • 保存和加载简单，只需一行代码。
  • 可以在没有原始模型代码的情况下加载模型。
• 缺点：
  • 保存的模型文件通常较大。
  • 保存的模型与Python版本和PyTorch版本紧密绑定，可能存在兼容性问题。
  • 对于安全性和模型的版本控制不够理想，因为它保存了代码。

2. 模型状态字典（Model State Dict）

• 定义：模型状态字典是一个包含模型参数的字典对象。它只保存参数（如权重和偏置），不包括模型的架构。
• 保存内容：模型的参数，即权重和偏置等。
• 优点：
  • 文件大小较小，因为只包含参数值。
  • 更加灵活，可以用于参数的初始化、迁移学习等。
  • 更容易进行版本控制，因为不包含模型架构和额外的代码。
  • 兼容性更好，因为它不依赖于模型的具体类定义。
• 缺点：
  • 需要原始模型的代码来定义模型架构，然后才能加载状态字典。
  • 加载模型时需要更多的步骤，如创建模型实例、加载状态字典等。

结论

• 选择使用哪种方式取决于具体需求：如果需要在不同的环境中灵活地重用模型参数，或者进行模型的迁移学习，通常推荐使用模型状态字典。如果需要简单地在完全相同的环境中分享或迁移整个模型，可以选择保存整个模型。
• 推荐使用状态字典进行保存和加载：由于其灵活性和较好的兼容性，通常推荐使用状态字典来保存和加载模型。这样可以确保模型的核心参数能够被正确地应用于相同或修改后的架构中。