高效性:LMDB是一种内存映射数据库,可以在内存和磁盘之间实现高效的数据访问。它利用操作系统的虚拟内存机制,将数据文件映射到内存中,从而避免了频繁的磁盘IO操作,提高了数据的读取和写入效率
低内存占用:LMDB使用了页面缓存和写时复制(Copy-on-Write)的技术,可以在内存中保持数据的快速访问同时占用较少的内存空间。这对于处理大规模数据集或内存有限的环境非常有用
并发支持:LMDB支持多线程或多进程的并发读取和写入操作,可以在高并发的数据访问场景下保持数据的一致性和可靠性
数据压缩:LMDB支持数据的压缩,可以减小数据文件的大小,节省存储空间
跨平台兼容:LMDB是一个跨平台的数据库,可以在不同的操作系统上使用,并提供了多种编程语言的接口,如C、Python等
将目标分类的数据存储成“.lmdb”文件,
import pickle, lmdb
from tqdm import tqdm
img_paths = []
images, labels = [], []
for img_path in img_paths:
images.append(img_path)
labels.append(1) ## 假设数据的label为1
combined = list(zip(images, labels))
random.shuffle(combined)
images, labels = zip(*combined)
images = list(images)
labels = list(labels)
def create_lmdb(images, labels, lmdb_path):
assert len(images) == len(labels), "All lists must have the same length"
db = lmdb.open(lmdb_path, map_size=int(1e12))
with db.begin(write=True) as txn:
bar = tqdm(images)
for i, img_path in enumerate(bar):
with open(img_path, 'rb') as f:
img_data = f.read()
meta_data = {'label': labels[i], 'size': len(img_data)}
data = pickle.dumps((meta_data, img_data))
txn.put(str(i).encode('utf-8'), data)
txn.put('length'.encode('utf-8'), str(len(img_paths)).encode('utf-8'))
print(f"Created LMDB dataset at {lmdb_path} with {len(img_paths)} images")
create_lmdb(images=images, labels=labels, lmdb_path="xxx.lmdb")