pickle.dump()把大量数据写入文件发生MemoryError解决方法

跑了12个小时的代码,最后因为pickle.dump()发生MemoryError错误,实在头疼。pickle.dump()有个bug就是不能存储大量数据,所以只能用别的方法,我用的是joblib读写方式,轻松搞定,Yes!

from sklearn.externals import joblib
#写的方式
save_file = os.path.join(save_path, "detections.pkl")
joblib.dump(detections, save_file)

#读取方式
det_boxes = joblib.load(os.path.join(save_path, 'detections.pkl'))

 

你可能感兴趣的:(python)