pickle文件读取及pickle的相关作用

1.当我们使用 train.pickle文件进行模型训练时，可以使用进行数据读取，我们发现.pickle文件是Python中用于序列化和反序列化数据的一种数据格式。它使用Python特有的pickle模块来实现，可以将Python对象以二进制形式保存到文件中，也可以从文件中加载并重新构建对象。

import pickle

# 打开pickle文件并读取数据
with open("train.pickle", "rb") as file:
    data = pickle.load(file)

# 使用读取的数据进行后续操作

如，在我的数据集中，读取进来格式如下

2.除了用于序列化和反序列化对象之外，pickle 模块在 Python 中还有其他一些作用和使用情况。以下是一些常见的用法：

1. 对象存储: pickle 可以将 Python 对象保存到磁盘上，以便稍后再次加载使用。这对于保存模型、缓存数据等非常有用。

   import pickle
   
   # 保存对象到文件
   data = {'name': 'John', 'age': 25}
   with open('data.pickle', 'wb') as file:
       pickle.dump(data, file)
   
   # 从文件加载对象
   with open('data.pickle', 'rb') as file:
       loaded_data = pickle.load(file)
   print(loaded_data)  # 输出: {'name': 'John', 'age': 25}
   

2. 网络传输: pickle 可以将 Python 对象序列化为字节流，在网络传输中使用。这对于分布式系统中的进程间通信很有用

import socket
import pickle

# 在发送端序列化对象并发送
data = {'name': 'John', 'age': 25}
serialized_data = pickle.dumps(data)
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('localhost', 8000))
sock.sendall(serialized_data)

# 在接收端接收字节流并反序列化为对象
received_data = sock.recv(1024)
deserialized_data = pickle.loads(received_data)
print(deserialized_data)  # 输出: {'name': 'John', 'age': 25}

3.深拷贝对象: pickle 提供了一种创建对象的深拷贝副本的方法。这对于在内存中创建对象的多个独立副本非常有用。

import pickle

# 创建对象的深拷贝
original_object = [1, 2, [3, 4]]
copied_object = pickle.loads(pickle.dumps(original_object))
print(copied_object)  # 输出: [1, 2, [3, 4]]
print(original_object == copied_object)  # 输出: True
print(original_object is copied_object)  # 输出: False